[論文レビュー] Imitation Learning: Progress, Taxonomies and Challenges

Boyuan Zheng, Sunny Verma+3 more|arXiv (Cornell University)|Jun 23, 2021

Reinforcement Learning in Robotics参考文献 81被引用数 10

ひとこと要約

本サーベイは、行動学習（IL）の包括的なレビューを提供し、低レベルおよび高レベルのタスクを区別する最新の分類法を導入している。行動学習（BC）、逆強化学習（IRL）、および敵対的構造的ILを含む。IL分野における進展を統合し、劣化した模範データや表現学習といった主な課題を特定し、転移学習や音声を用いたインストラクションを含む今後の方向性を提示している。

ABSTRACT

Imitation learning aims to extract knowledge from human experts' demonstrations or artificially created agents in order to replicate their behaviors. Its success has been demonstrated in areas such as video games, autonomous driving, robotic simulations and object manipulation. However, this replicating process could be problematic, such as the performance is highly dependent on the demonstration quality, and most trained agents are limited to perform well in task-specific environments. In this survey, we provide a systematic review on imitation learning. We first introduce the background knowledge from development history and preliminaries, followed by presenting different taxonomies within Imitation Learning and key milestones of the field. We then detail challenges in learning strategies and present research opportunities with learning policy from suboptimal demonstration, voice instructions and other associated optimization schemes.

研究の動機と目的

• 最近の進展を反映した更新された分類法を用いて、行動学習（IL）の体系的レビューを提供すること。
• 行動学習（BC）と逆強化学習（IRL）から、現代の敵対的および構造的アプローチに至るまでのILの進化を分析すること。
• 模範データの質に依存する問題、一般化能力の制限、表現学習の不足といった、ILにおける継続的な課題を特定すること。
• 劣化した模範データからの学習、音声インストラクション、転移学習といった、今後の研究方向性を探索すること。
• GAILのようなGANベースの手法が、従来の分類境界を曇らせるための分類法の曖昧さを解消すること。

提案手法

• 低レベル対高レベルタスク、およびBC対IRL対敵対的構造的ILという新しい分類法を提案し、より明確な概念的境界を提供する。
• 行動学習（BC）、逆強化学習（IRL）、生成的敵対的模倣学習（GAIL）を含む、基礎的なIL技術をレビューする。
• 自己教師ありおよび対照的表現学習法（例：時間対照ネットワーク）を分析し、データ効率性とドメイン一般化を向上させる。
• 専門家データに完全に依存しないようにするため、非専門家または劣化した模範データを用いる手法（例：教師-生徒 distillation）を検討する。
• 視覚的観測と併せて、自然言語や音声インストラクションを補助信号としてILに統合する。
• 重要度サンプリングや転移学習といった最適化スキームを提案し、サンプル効率性と方策一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来のBCおよびIRLフレームワークを超えて、現代の手法的進展を反映するように、行動学習を体系的に分類する方法は何か？
• RQ2 劣化したまたはノイズの多い模範データからの学習における主な課題は何か。それらはどのように緩和できるか？
• RQ3 音声インストラクションや自然言語を、行動学習にどの程度統合できるか。これにより、方策学習が向上し、人的アノテーションの負担が軽減されるか？
• RQ4 方策および模範データのためのより良い表現学習は、ILにおけるデータ効率性と一般化をどのように向上させるか？
• RQ5 どのような戦略により、行動学習エージェントが模範者を上回り、グローバル最適な方策に到達できるか？

主な発見

• 本サーベイは、GAILおよびその派生手法が従来の分類法を曇らせていることを特定し、タスクレベルおよび手法的構造に基づいた新しい分類フレームワークの必要性を示している。
• 現在のIL手法は高品質な模範データに強く依存しており、劣化した模範データは性能を著しく低下させるが、最近の研究ではそのようなデータから共通の意図を抽出する可能性が示されている。
• 自己教師ありおよび対照的学習法（例：TCN）は、生動画からのドメイン不変表現学習を向上させ、環境間での一般化を促進する。
• ILに音声または自然言語インストラクションを統合することで、ナビゲーションタスクでの方策学習が向上し、人間とのインタラクティブな模倣学習の新たな道筋が開かれる。
• 進展は見られるものの、大多数のIL手法は局所最適解に収束している。Yuら（2020）の手法に限っては模範者を上回る性能を達成しているが、これは意図モデリングの向上が求められることを示唆している。
• 転移学習と重要度サンプリングは、サンプル効率性の向上と新しいタスクへの迅速な適応を可能にする有望な最適化スキームである。