[論文レビュー] Human-in-the-Loop Methods for Data-Driven and Reinforcement Learning Systems

Vinicius G. Goecks|arXiv (Cornell University)|Aug 30, 2020

Reinforcement Learning in Robotics参考文献 169被引用数 4

ひとこと要約

本論文は、ロボット工学におけるサンプル効率性とリアルタイム適応性を向上させるために、人間の模倣行動、介入、評価をアクター・クリティック強化学習に統合する人間を含むループフレームワーク「Cycle-of-Learning」を提案する。人間のフィードバックを繰り返し学習ループに組み込むことで、収束を加速し、UASおよびLunarLanderタスクにおいて、ベースラインと比較して1.84倍高いタスク完了率を達成した。

ABSTRACT

Recent successes combine reinforcement learning algorithms and deep neural networks, despite reinforcement learning not being widely applied to robotics and real world scenarios. This can be attributed to the fact that current state-of-the-art, end-to-end reinforcement learning approaches still require thousands or millions of data samples to converge to a satisfactory policy and are subject to catastrophic failures during training. Conversely, in real world scenarios and after just a few data samples, humans are able to either provide demonstrations of the task, intervene to prevent catastrophic actions, or simply evaluate if the policy is performing correctly. This research investigates how to integrate these human interaction modalities to the reinforcement learning loop, increasing sample efficiency and enabling real-time reinforcement learning in robotics and real world scenarios. This novel theoretical foundation is called Cycle-of-Learning, a reference to how different human interaction modalities, namely, task demonstration, intervention, and evaluation, are cycled and combined to reinforcement learning algorithms. Results presented in this work show that the reward signal that is learned based upon human interaction accelerates the rate of learning of reinforcement learning algorithms and that learning from a combination of human demonstrations and interventions is faster and more sample efficient when compared to traditional supervised learning algorithms. Finally, Cycle-of-Learning develops an effective transition between policies learned using human demonstrations and interventions to reinforcement learning. The theoretical foundation developed by this research opens new research paths to human-agent teaming scenarios where autonomous agents are able to learn from human teammates and adapt to mission performance metrics in real-time and in real world scenarios.

研究の動機と目的

• 実世界のロボット工学におけるエンドツーエンド強化学習の、低いサンプル効率性と深刻な失敗のリスクを解決すること。
• 模倣、介入、評価の3つの人間インタラクションモダリティを、強化学習ループに直接統合すること。
• 高精細シミュレーテッドおよび実世界環境において、リアルタイムかつデータ効率の良いポリシー学習を可能にすること。
• アクター・クリティックアーキテクチャにおける人間のフィードバック、関数近似、報酬形状の統合的フレームワークを構築すること。
• 連続的制御タスクおよび無人航空システム（UAS）において、標準的な強化学習および模倣学習を上回る性能を実証すること。

提案手法

• Cycle-of-Learningフレームワークは、価値関数および行動関数の関数近似を用いて、人間の模倣、介入、評価をアクター・クリティックアーキテクチャに統合する。
• 人間のフィードバックは、逆強化学習および生成モデルを用いて報酬信号を形状づけることで、ポリシー学習の効率を向上させる。
• 経験リプレイは、エキスパートの模倣行動とエージェントが生成した経験の両方を組み込み、損失成分に基づく動的重み付けを実施する。
• 人間の入力が継続的に学習プロセスにフィードバックされるクローズドループの相互作用サイクルを採用し、ポリシーを段階的に最適化する。
• 行動クラッシングを用いた事前学習フェーズでポリシーを初期化し、その後、人間を含むループ補正による強化学習によるファインチューニングを実施する。
• 神経ネットワークアーキテクチャは、ニューラルアーキテクチャ探索や圧縮技術を用いて最適化され、ハードウェア上でのリアルタイム実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間の模倣、介入、評価を、どのように体系的に強化学習ループに統合することで、サンプル効率性を向上させられるか？
• RQ2 複数のモダリティのフィードバックを統合することで、単一のフィードバックタイプに比べて収束速度とパフォーマンスが向上するか？
• RQ3 報酬形状にとどまらず、強化学習パイプラインのすべてのコンポONENTに人間の事前知識を統合することで、測定可能な改善が得られるか？
• RQ4 Cycle-of-Learningフレームワークは、従来の行動クラッシングおよびエンドツーエンドRLと比較して、データ効率性および最終的なポリシー性能において優れているか？
• RQ5 人間を含むループ学習は、高精細ロボット環境において、どの程度リアルタイムの適応とデプロイを可能にするか？

主な発見

• LunarLanderContinuous-v2において、Cycle-of-Learningは行動クラッシングより636%高いパフォーマンスを達成し、DAPGより104%、DDPGより71%高い性能を示した。
• Microsoft AirSim UAS環境では、DAPGより161%高い初期パフォーマンス、行動クラッシングより297%高いパフォーマンスを示した。
• 模倣と介入の両方のフィードバックから学習することで、タスク完了率が12.8%（±3.6%標準誤差）向上し、人間のサンプル数を32.1%（±3.2%標準誤差）削減した。
• 得られたポリシーは、1人前のサンプルあたりのタスク完了率がベースライン比1.84倍に上昇し、優れたデータ効率性を示した。
• コンponent分析により、事前学習、損失重み付け、ハイブリッド経験リプレイが性能向上に不可欠であり、模倣学習と強化学習を単に逐次適用するだけでは得られないことが確認された。
• 逆強化学習および生成モデルを用いることで、100回の学習イテレーションでUAS着陸タスクを実行し、人間の平均パフォーマンスを超えた。