[論文レビュー] Leveraging Human Guidance for Deep Reinforcement Learning Tasks

Ruohan Zhang, Faraz Torabi+3 more|arXiv (Cornell University)|Sep 21, 2019

Reinforcement Learning in Robotics参考文献 56被引用数 4

ひとこと要約

この論文は、完全な行動デモではなく、評価的フィードバック、好み、高レベルの目標、注目マップ、状態シーケンスといった非伝統的な人間のガイダンスを利用する5つのディープ強化学習フレームワークを調査している。これらの手法は人的な作業を軽減し、サンプル効率を向上させ、アタリゲームやロボット制御といった複雑なタスクにおける学習を高速化する。

ABSTRACT

Reinforcement learning agents can learn to solve sequential decision tasks by interacting with the environment. Human knowledge of how to solve these tasks can be incorporated using imitation learning, where the agent learns to imitate human demonstrated decisions. However, human guidance is not limited to the demonstrations. Other types of guidance could be more suitable for certain tasks and require less human effort. This survey provides a high-level overview of five recent learning frameworks that primarily rely on human guidance other than conventional, step-by-step action demonstrations. We review the motivation, assumption, and implementation of each framework. We then discuss possible future research directions.

研究の動機と目的

• 完全な行動デモを超える人間のガイダンスを統合することで、ディープ強化学習の高いサンプル複雑性に対処する。
• 高コストで高品質な行動クラッシングデータに依存するのを減らし、代替の人間フィードバック信号を用いる。
• フィードバック、好み、注目といった多様な形態の人間ガイダンスが、複雑な環境におけるポリシー学習をどのように加速できるかを調査する。
• 人間が参加する強化学習フレームワークにおける情報の豊かさと人的作業のトレードオフを調査する。
• RL研究における再現可能性とベンチマークの促進のため、人間ガイダンスの共有データセットの導入を提唱する。

提案手法

• 人間による評価的フィードバックを用いて、行動のスカラーリワードや二値比較を提供し、行動レベルのデモなしでリワード設計を可能にする。
• 人間の好みからの学習を実装し、2つのエージェントの軌道を比較してペアワイズ比較を用いてポリシーの好みを最適化する。
• 階層的模倣学習を導入し、人間が高レベルの目標を提供し、低レベルのポリシーがそれらを達成するように訓練する。
• 人間の注目マップを活用してエージェントの注目を環境の関連する特徴に向け、認識能力とポリシー学習を向上させる。
• 行動なしの状態シーケンスを用いてエージェントを訓練し、状態遷移ダイナミクスをモデル化することで、観察からの模倣を可能にする。
• 複数のガイダンスタイプを統合した包括的で継続的学習フレームワークを構築し、適応的でマルチステージの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全な行動デモなしで、評価的フィードバックをどのように効果的にリワード設計に活用できるか？
• RQ2 従来の模倣学習と比較して、人間の行動軌道に対する好みがポリシー学習にどの程度向上効果をもたらすか？
• RQ3 人間が提供する高レベルの目標は、階層的制御タスクにおける学習のサンプル複雑性を顕著に低減できるか？
• RQ4 人間の注目ガイダンスは、エージェントが環境の関連する特徴に的確に注目する能力をどのように向上させるか？
• RQ5 行動データが入手不能または高コストな状況下で、行動なしの状態シーケンスを用いた学習性能にどのような影響があるか？

主な発見

• 評価的フィードバックと好みベースの学習は、大規模な行動デモデータの必要性を減らしつつも、効果的なポリシー最適化を可能にする。
• 階層的フレームワークにおける高レベルの目標監視は、サンプル効率を向上させ、シミュレーテッドロボット制御における長時間スパンのタスク学習を可能にする。
• 注目ガイドド学習は、エージェントの注目を人間が関係ないと考える特徴に一致させることで、一般化性能を向上させる。
• 行動データが入手不可または高コストな環境において、状態シーケンスのみを用いた観察からの模倣学習が、競争力のある性能を達成する。
• 好みベースの手法は、人間のフィードバックがエキスパートデモよりもスケーラブルなアタリゲームのような複雑な環境で優れた性能を示す。
• 複数のガイダンスタイプを包括的で継続的学習フレームワークに統合することで、単一ガイダンスアプローチを上回る適応的でマルチモーダルな学習が可能になる。