[論文レビュー] Actor-Critic Reinforcement Learning with Simultaneous Human Control and Feedback

Kory W. Mathewson, Patrick M. Pilarski|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 6

ひとこと要約

本稿は、人間-ロボット協働におけるアクター・クリティック強化学習における同時的人間の制御とフィードバックに関する最初の研究を提示する。一般インタラクティブ学習フレームワークを導入し、ユーザーが制御とフィードバックの両方を提供しても制御の質が低下しないことを示しているが、両信号を同時に提供する際にはフィードバック頻度が低下することが判明した。

ABSTRACT

This paper contributes a first study into how different human users deliver simultaneous control and feedback signals during human-robot interaction. As part of this work, we formalize and present a general interactive learning framework for online cooperation between humans and reinforcement learning agents. In many human-machine interaction settings, there is a growing gap between the degrees-of-freedom of complex semi-autonomous systems and the number of human control channels. Simple human control and feedback mechanisms are required to close this gap and allow for better collaboration between humans and machines on complex tasks. To better inform the design of concurrent control and feedback interfaces, we present experimental results from a human-robot collaborative domain wherein the human must simultaneously deliver both control and feedback signals to interactively train an actor-critic reinforcement learning robot. We compare three experimental conditions: 1) human delivered control signals, 2) reward-shaping feedback signals, and 3) simultaneous control and feedback. Our results suggest that subjects provide less feedback when simultaneously delivering feedback and control signals and that control signal quality is not significantly diminished. Our data suggest that subjects may also modify when and how they provide feedback. Through algorithmic development and tuning informed by this study, we expect semi-autonomous actions of robotic agents can be better shaped by human feedback, allowing for seamless collaboration and improved performance in difficult interactive domains.

研究の動機と目的

• 人間-ロボット相互作用の過程で、人間が制御信号とフィードバック信号を同時にどのように提供するかを調査すること。
• 複雑なロボットシステムと限定的な人間の制御チャネルの間のギャップを埋えるために、信号の同時送信を可能にする。
• 強化学習エージェントと人間の間のインタラクティブな学習をモデル化・分析するための形式的フレームワークを構築すること。
• 同時的な制御とフィードバックが、信号の質、フィードバック頻度、学習パフォーマンスに与える影響を人間-ロボット協働タスクにおいて検証すること。
• 人間の変動性に強く、フィードバック統合が改善された、適応的で人間を含む強化学習システムの今後のアルゴリズム設計を支援すること。

提案手法

• 人間とエージェント間の通信チャネル（フィードバック（F）、状態（S）、ディスプレイ（D））を形式化する一般インタラクティブ学習フレームワーク（図2）を提案する。
• Myoアームバンドを介して人間が提供する制御信号と、左手のボタン押下による報酬形状フィードバックを用いて、アクター・クリティック強化学習エージェントを訓練する。
• シミュレーテッドNaoロボット環境において、被験者が同時に運動制御と報酬の形状をリアルタイムで行う人間-ロボット協働タスクを設計する。
• ジョイント角度の追従を主なタスクとし、フィードバックが報酬関数を調整することで学習をガイドする連続的制御空間を採用する。
• 3つの条件（制御のみ、フィードバックのみ、制御とフィードバックの同時提供）において、13名の参加者を対象に行動データを収集・分析する。
• 人間の信号パターンに基づいたアルゴリズムチューニングを実施し、学習効率の向上とフィードバック変動へのロバストネスの強化を図る。

実験結果

リサーチクエスチョン

• RQ1 制御とフィードバックを同時に提供する場合、人間のフィードバック提供の頻度とタイミングにどのような影響が生じるか？
• RQ2 制御とフィードバックの両方を提供する場合、制御信号の質が制御のみの条件と比較して劣化するか？
• RQ3 両信号を同時に提供する際、トレーニングプロセスの進行に伴いフィードバックのパターンはどのように変化するか？
• RQ4 リアルタイムの人間-ロボット相互作用において、2つの信号モダリティを管理する際、ユーザーがどのような行動的・認知的トレードオフを経験するか？
• RQ5 複雑なタスクにおいて、非侵襲的かつ同時に提供される人間の制御とフィードバック信号から、強化学習エージェントが効果的に学習できるか？

主な発見

• 制御とフィードバックを同時に提供する際、参加者はフィードバックのみの条件と比較して顕著に少ないフィードバックを提供した。これは認知的負荷のトレードオフを示している。
• 同時条件下でも制御信号の質に有意な劣化は認められず、ユーザーがフィードバックを提供しながらも高精度な制御を維持できることを示している。
• 参加者は、ロボットが安定状態に達した後にフィードバックを提供する傾向が強く、『まず安定性を学習する』戦略を採用していることが示された。
• フィードバック提供パターンは時間経過とともに変化し、初期の安定化後はセットポイント間の変化に注目する傾向が強くなった。これは、学習戦略が進化していることを示している。
• 定性的フィードバックから、ユーザーは制御とフィードバックの調整が求められるタスクであると認識しており、一部のユーザーは指導的または反応的なフィードバックスタイルを採用していた。
• 本研究の結果は、インタラクティブ強化学習における同時的人間の制御とフィードバックの実現可能性を支持しており、低帯域幅かつ高効率な人間-機械協働システムの設計に示唆的である。