[論文レビュー] Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning

Kory W. Mathewson, Patrick M. Pilarski|arXiv (Cornell University)|Jun 22, 2016

Robot Manipulation and Learning参考文献 26被引用数 13

ひとこと要約

本論文は、アクター・クリティック強化学習を用いて、ロボットエージェントが同時にリアルタイムの筋電図制御と人間によるフィードバックを受けることで学習する、革新的なフレームワークを提案する。トレーニング中に人間の制御信号と報酬フィードバックの両方を統合することで、動きタスクにおける学習効率とタスクパフォーマンスが向上し、実験的結果では人間のフィードバックを環境報酬と組み合わせた場合に顕著な向上が観察された。

ABSTRACT

This paper contributes a preliminary report on the advantages and disadvantages of incorporating simultaneous human control and feedback signals in the training of a reinforcement learning robotic agent. While robotic human-machine interfaces have become increasingly complex in both form and function, control remains challenging for users. This has resulted in an increasing gap between user control approaches and the number of robotic motors which can be controlled. One way to address this gap is to shift some autonomy to the robot. Semi-autonomous actions of the robotic agent can then be shaped by human feedback, simplifying user control. Most prior work on agent shaping by humans has incorporated training with feedback, or has included indirect control signals. By contrast, in this paper we explore how a human can provide concurrent feedback signals and real-time myoelectric control signals to train a robot's actor-critic reinforcement learning control system. Using both a physical and a simulated robotic system, we compare training performance on a simple movement task when reward is derived from the environment, when reward is provided by the human, and combinations of these two approaches. Our results indicate that some benefit can be gained with the inclusion of human generated feedback.

研究の動機と目的

• 制御可能なロボットモーターの数の増加と、人間のオペレーターが直接管理できる能力の限界との間のギャップを埋えること。
• リアルタイムの人間の筋電図制御と人間による報酬フィードバックを組み合わせることで、ロボット強化学習における学習効率が向上するかどうかを調査すること。
• 環境からの報酬と人間のフィードバックの両方から得られるハイブリッド報酬信号が、トレーニングパフォーマンスに与える効果を評価すること。
• 環境報酬のみ、人間のフィードバックのみ、および両方の組み合わせという3つの条件下でのトレーニング結果を比較すること。
• ロボットエージェントにおいて、一元的なアクター・クリティック強化学習フレームワークを用いて、同時に人間の制御とフィードバックを処理する可能性を実証すること。

提案手法

• ロボットエージェントは、統合された信号から制御方策を学習するため、アクター・クリティック強化学習アーキテクチャを用いる。
• 人間のオペレーターが表面筋電図（sEMG）センサーを介してリアルタイムの筋電図制御信号を提供し、ロボットの行動を誘導する。
• 人間のフィードバックはトレーニング中にスカラーベースの報酬信号として提供され、これがクリティックの価値関数を形作るために使用される。
• クリティックネットワークは、環境報酬と人間によるフィードバックの両方を基に、期待されるリターンを推定する。
• アクターネットワークは、環境報酬と人間のフィードバックの両方をバランスさせた組み合わせ報酬信号を最大化するように方策を更新する。
• 性能の妥当性を検証するため、物理的ロボットアームとシミュレーテッド環境の両方で実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 同時に人間の制御とフィードバックを提供することで、ロボット強化学習エージェントの学習効率が向上するか？
• RQ2 人間のフィードバックのみでトレーニングされたロボットと、環境報酬のみでトレーニングされたロボットのパフォーマンスは、どのように比較されるか？
• RQ3 環境報酬と人間のフィードバックを組み合わせることで、方策収束とタスク成功にどのような影響が及ぶか？
• RQ4 筋電図制御信号と人間のフィードバックを統合することで、より安定的かつ効果的な学習が達成されるか？
• RQ5 一元的なアクター・クリティックフレームワークは、リアルタイムに同時に処理される制御信号とフィードバック信号を効果的に処理できるか？

主な発見

• 環境報酬と人間のフィードバックを組み合わせた結果、単独で使用した場合と比較して収束が速く、タスク成功確率も高くなった。
• 人間のフィードバックのみでトレーニングした場合、環境報酬のみでトレーニングした場合よりも学習が遅く、パフォーマンスも低かったが、ランダム探索を上回る結果を示した。
• 人間のフィードバックの導入により、方策のロバスト性が向上し、最適パフォーマンスに到達するためのエピソード数が減少した。
• 物理的ロボットシステムは、リアルタイムの人間入力を伴う現実世界での実装可能性を示した。
• シミュレーテッド環境では、複数回の試行において一貫したパフォーマンス向上が確認され、この手法のスケーラビリティが裏付けられた。
• アクター・クリティックフレームワークは、二重の入力ストリーム（制御とフィードバック）を効果的に統合でき、学習安定性に顕著な劣化を引き起こさなかった。