[論文レビュー] Cycle-of-Learning for Autonomous Systems from Human Interaction

Nicholas R. Waytowich, Vinicius G. Goecks+1 more|arXiv (Cornell University)|Aug 28, 2018

Reinforcement Learning in Robotics参考文献 11被引用数 14

ひとこと要約

本論文は、自律システムの強化学習パイプラインに、人間の行動の模倣、干渉、評価という3つの相互作用モダリティを統合した新しいフレームワーク「Cycle-of-Learning」を提案する。人間の模倣による事前学習でエージェントを初期化し、干渉による評価関数の精練を行い、その後人間による評価と自己教師付き強化学習に移行することで、時間の経過に従い人間の関与が徐々に減少する効率的で適応性のある学習が可能になる。

ABSTRACT

We discuss different types of human-robot interaction paradigms in the context of training end-to-end reinforcement learning algorithms. We provide a taxonomy to categorize the types of human interaction and present our Cycle-of-Learning framework for autonomous systems that combines different human-interaction modalities with reinforcement learning. Two key concepts provided by our Cycle-of-Learning framework are how it handles the integration of the different human-interaction modalities (demonstration, intervention, and evaluation) and how to define the switching criteria between them.

研究の動機と目的

• 報酬関数が不確実または入手不能な現実世界の環境で自律システムを訓練する課題に対処すること。
• 模倣、干渉、評価という複数の人的相互作用モダリティを統合した一貫性のある学習フレームワークを形式化すること。
• 性能、データの可用性、または利得関数に基づいて相互作用モダリティを動的に切り替えることで、人間トレーナーの負担を軽減すること。
• 人間の関与が高水準（模倣と干渉）の段階から、段階的に自律性が向上する（評価と純粋な強化学習）段階への滑らかな移行を可能にすること。

提案手法

• 三段階の学習サイクルを提案：(1) 人間の模倣による学習（LFD）、(2) 人間の干渉による学習（LFI）、(3) 人間による評価による学習（LFE）、その後に純粋な強化学習（RL）に移行。
• エージェントが最初に模倣と干渉に基づいて訓練され、その後に人間からのフィードバックと時系列差分学習を用いて評価関数（Critic）を訓練する、アクター・クリティック構造を採用。
• 人間の模倣から報酬関数を推定する逆強化学習（IRL）を用い、システムが報酬モデル $ R_H $ を学習可能にする。
• 学習された報酬モデル $ R_H $ を標準的なアクター・クリティック強化学習フレームワークに統合し、方策 $ \pi_{\theta D_H} $ を方策勾配法を用いて最適化する。
• 性能指標、データモダリティの制限、利得関数 $ A(s,a) = Q(s,a) - V(s) $ を用いて、モダリティ間の切り替え基準を定義。
• 利得関数を用いて人間とシステムの性能を比較し、システムの期待報酬が人間を上回る場合に自動的に自律的強化学習に移行可能であることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 模倣、干渉、評価という複数の人的相互作用モダリティを、自律システムのための一貫性のある学習フレームワークに体系的に統合する方法は何か？
• RQ2 学習効率と人間リソースの制限の両立を考慮した場合、異なる相互作用モダリティ間の切り替えを制御する基準は何か？
• RQ3 人間の模倣と干渉から報酬モデルを学習し、手動で設計された報酬関数なしに後続の強化学習を可能にする方法は何か？
• RQ4 人間の関与を段階的に減少させながら、システムの自律性を段階的に向上させる方法は何か？
• RQ5 性能指標、データの可用性、利得関数は、相互作用モード間の最適な切り替えタイミングを決定するために果たす役割は何か？

主な発見

• Cycle-of-Learningフレームワークは、人間による支援学習（模倣と干渉）から自律的強化学習への構造的で順次的な移行を可能にし、継続的な人間の入力を減少させる。
• 最初に模倣と干渉に基づいてエージェントを訓練することで、初期化がランダムな純粋な強化学習と比較して、サンプル効率と収束速度が向上する。
• IRLの統合により、人間の行動から報酬関数を推定可能となり、後続の強化学習最適化に学習済み報酬モデルを活用できる。
• 利得関数 $ A(s,a) $ の使用により、システムの性能が人間を上回るタイミングを定量的に判断する基盤が得られ、自律運用への適切な移行を示す。
• 性能指標やデータの可用性に基づく切り替えにより、模倣時間やフィードバック容量に制限がある現実世界の制約に適応可能なフレームワークが実現される。
• 人間とシステムのリソースが限られているロボットアプリケーションを想定しており、人間を含む学習のスケーラブルで直感的なパラダイムを提供する。