[論文レビュー] Curriculum Design for Teaching via Demonstrations: Theory and Applications

Gaurav Yengera, Rati Devidze+2 more|arXiv (Cornell University)|Jun 8, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、模倣学習における示範による学習のための統一的でインタラクティブなカリキュラム戦略を提案する。この戦略は、教師の最適方策の下での尤度と学習者の現在の方策の下での尤度の比に基づいて示範の難易度をランク付けする。学習者の内部ダイナミクスの情報が不要であるにもかかわらず、MaxEnt-IRLおよびCrossEnt-BC学習者に対して線形収束を達成し、タスク固有の難易度スコアを用いて教師なし設定へと拡張可能であり、合成ナビゲーションおよび自動車走行環境において先行手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of teaching via demonstrations in sequential decision-making settings. In particular, we study how to design a personalized curriculum over demonstrations to speed up the learner's convergence. We provide a unified curriculum strategy for two popular learner models: Maximum Causal Entropy Inverse Reinforcement Learning (MaxEnt-IRL) and Cross-Entropy Behavioral Cloning (CrossEnt-BC). Our unified strategy induces a ranking over demonstrations based on a notion of difficulty scores computed w.r.t. the teacher's optimal policy and the learner's current policy. Compared to the state of the art, our strategy doesn't require access to the learner's internal dynamics and still enjoys similar convergence guarantees under mild technical conditions. Furthermore, we adapt our curriculum strategy to the setting where no teacher agent is present using task-specific difficulty scores. Experiments on a synthetic car driving environment and navigation-based environments demonstrate the effectiveness of our curriculum strategy.

研究の動機と目的

• 効率的な模倣学習のための必要な示範数を減らす挑戦に応えるために、個人に合わせたカリキュラムを設計すること。
• 学習者の内部ダイナミクスに依存しないカリキュラム戦略を開発し、さまざまな学習者モデルへの広範な適用可能性を実現すること。
• 教師エージェントが存在しない設定へとカリキュラムアプローチを拡張するために、タスク固有の難易度スコアを用いること。
• ややきつい技術的条件下で、MaxEnt-IRLおよびCrossEnt-BC学習者に対して理論的収束保証を提供すること。
• 合成ナビゲーションおよび自動車走行環境におけるカリキュラム戦略の有効性を実験的に検証すること。

提案手法

• カリキュラム戦略は、教師の最適方策の下での尤度と学習者の現在の方策の下での尤度の比に基づき、示範の難易度スコアとして使用する。
• MaxEnt-IRLに対しては、学習者の更新ルールの知識が不要なややきつい技術的条件下で線形収束を証明する。
• CrossEnt-BCに対しても、同じ難易度ベースのランク付けを適用することで、両学習者モデル間で統一的なカリキュラム戦略を実現する。
• スケジューリング機構を用いて、訓練エポックごとに提供される示範数を段階的に増加させ、最初は最も好ましい（難易度の高い）ものから順に、最終的にはすべてを含める。
• 教師が存在しない状況では、環境の構造的特性（例：ゴール数やグリーディギャップ）からタスク固有の難易度スコアを導出し、カリキュラム生成を支援する。
• 本手法は、合成自動車走行環境および2つのナビゲーションベースの環境で評価され、ニューラルネットワークを用いた訓練とカリキュラムスケジュールされた示範バッチが使用された。

実験結果

リサーチクエスチョン

• RQ1 ポリシーに基づく難易度スコアのみを用いて、MaxEnt-IRLおよびCrossEnt-BC学習者向けの統一的カリキュラム戦略を設計できるか？
• RQ2 学習者の内部ダイナミクスの情報が得られない状況でも、提案されたカリキュラムがMaxEnt-IRLに対して線形収束を達成できるか？
• RQ3 教師エージェントが存在しない状況でも、タスク固有の特徴のみを用いてカリキュラム戦略を適応可能か？
• RQ4 バッチ学習およびインタラクティブな教育手法と比較して、本カリキュラム戦略は収束速度およびサンプル効率の点で優れているか？
• RQ5 カリキュラム選択に顕在する構造的パターンは何か？また、ナビゲーションタスクにおける直感的な学習進行と整合性があるか？

主な発見

• 提案されたカリキュラム戦略は、学習者の更新ルールの知識がなくても、ややきつい技術的条件下でMaxEnt-IRL学習者に対して線形収束を達成する。
• 最短経路ナビゲーション環境では、カリキュラムはゴール数が少なく、障害物が多いタスクを初期に優先し、最適経路選択の前に障害物回避を教える。
• TSPナビゲーション環境では、ゴール数が多くてもグリーディギャップが低いタスクから始め、段階的により複雑な計画タスクを導入する。
• 両方の合成環境において、均一的およびランダムな示範スケジューリングと比較して、カリキュラム戦略は学習収束を顕著に加速する。
• 環境の特徴（例：ゴール数、グリーディギャップ）から導出されるタスク固有の難易度スコアを用いることで、教師なし設定への一般化が効果的に可能である。
• 実験的結果から、特に複雑なナビゲーションタスクにおいて、サンプル効率および収束速度の点で最先端の手法を上回ることが示された。