[論文レビュー] A Survey of Imitation Learning: Algorithms, Recent Developments, and Challenges

Maryam Zare, Parham M. Kebria+2 more|arXiv (Cornell University)|Sep 5, 2023

Reinforcement Learning in RoboticsComputer Science被引用数 3

ひとこと要約

本調査は、ロボット工学およびAI分野における模倣学習（IL）の包括的かつ最新の概要を提供しており、行動コーディングや逆強化学習を含むコアなアルゴリズム、アドバーシャルIL、およびクロスドメイン、クロスエンベッディング、ロバストIL分野における最近の進展をカバーしている。不完全なデモやドメインシフトといった主な課題を特定し、スケーラブルで汎用性の高いILシステムのための今後の研究方向性を提示している。

ABSTRACT

In recent years, the development of robotics and artificial intelligence (AI) systems has been nothing short of remarkable. As these systems continue to evolve, they are being utilized in increasingly complex and unstructured environments, such as autonomous driving, aerial robotics, and natural language processing. As a consequence, programming their behaviors manually or defining their behavior through reward functions (as done in reinforcement learning (RL)) has become exceedingly difficult. This is because such environments require a high degree of flexibility and adaptability, making it challenging to specify an optimal set of rules or reward signals that can account for all possible situations. In such environments, learning from an expert's behavior through imitation is often more appealing. This is where imitation learning (IL) comes into play - a process where desired behavior is learned by imitating an expert's behavior, which is provided through demonstrations. This paper aims to provide an introduction to IL and an overview of its underlying assumptions and approaches. It also offers a detailed description of recent advances and emerging areas of research in the field. Additionally, the paper discusses how researchers have addressed common challenges associated with IL and provides potential directions for future research. Overall, the goal of the paper is to provide a comprehensive guide to the growing field of IL in robotics and AI.

研究の動機と目的

• 研究者およびロボット工学・AI分野の実務家向けに、模倣学習（IL）分野における最近の進展を統合すること。
• 報酬設計に依存するのを減らすことで、従来の強化学習の限界を克服し、スケーラブルな代替手段としてILを提供すること。
• 不完全なデモ、ドメインシフト、エージェントの身体的特性の違いといったILにおける主な課題を特定・分析すること。
• 行動コーディング、逆強化学習、アドバーシャル模倣学習といったILアプローチの体系的概要を提示し、それぞれの強みと弱みを明らかにすること。
• クロスドメイン、クロスエンベッディング、ロバストIL分野における新興トレンドと未解決問題を強調することで、今後の研究を導くこと。

提案手法

• 学習の目的と定式化に基づき、模倣学習を行動コーディング（BC）、逆強化学習（IRL）、アドバーシャル模倣学習（AIL）の3つの主要なパラダイムに分類する。
• サンプリングされたダイナミクスの下で、エキスパート方策とエージェント方策の間のジェンセン・ショーナン距離を最小化することで、環境ダイナミクスの変動に強い性能を実現する最近の手法をレビューする。
• 時間的サイクル整合性（TCC）を用いてタスク進行の埋め込みとエージェントの身体的特性に依存しない距離ベースの報酬を学習するXIRLなどのクロスエンベッディングIL技術を検討する。
• プロキシタスクや明示的な潜在空間を介さずに、エキスパートとエージェントの状態・行動の占有状態の間の等長変換を学習するGromov-Wassersteinに基づく手法を紹介する。
• 行動ラベルが不要な状態のみのデモから学習するためのIfO（観察からの模倣）フレームワークを提案・分析する。
• 状態・行動空間における構造的保存性に基づく擬似報酬を用いて、クロスドメイン設定において強化学習による方策訓練を実現する手法を評価する。

Figure 1: A historical timeline of IL research illustrating key achievements in the field.

実験結果

リサーチクエスチョン

• RQ1 少数のデモしか利用できない状況下で、環境ダイナミクスの変動に強く対応できる模倣学習はどのように実現できるか？
• RQ2 異なる身体的特性、視点、ダイナミクスを持つエージェント間で、効果的な方策転送を実現するための技術は何か？
• RQ3 不完全またはスパarsなデモ、特に状態のみの観測から模倣学習をどのように行えるか？
• RQ4 状態・行動の占有状態空間における構造的保存性が、明示的なアライメントなしにクロスドメイン模倣を可能にする役割は何か？
• RQ5 分布シフトやエキスパートデモの品質といった従来のILの限界を、新たなアルゴリズム設計によってどのように軽減できるか？

主な発見

• アドバーシャル模倣学習（AIL）およびその変種は、報酬設計を明示的に行わずにエキスパート行動を再現する生成的敵対ネットワークを活用することで、方策の一般化性能を顕著に向上させた。
• クロスエンベッディングIRL（XIRL）は、時間的サイクル整合性（TCC）と埋め込み空間内のゴール状態距離を用いて、身体的特性に依存しないタスク表現を学習し、多様なエージェント間でゼロショット転送を実現した。
• Gromov-Wassersteinに基づく手法は、ドメイン間で状態と行動の距離関係を保存することで、プロキシタスクや明示的な潜在空間アライメントなしに効果的な方策転送を実現した。
• 観察からの学習（IfO）フレームワークは、状態を条件とした行動の条件付き分布として方策をモデル化することで、状態のみのデモからの模倣を可能にし、データ要件を削減した。
• 複数のダイナミクス変動に対してジェンセン・ショーナン距離を最小化するロバストIL手法は、一般化性能を向上させ、顕著な環境摂動下でも性能向上が確認された。
• 進展は見られても、大規模かつ多様性に富み、高品質なデモは依然として深刻なボトル neck であり、特にエキスパート行動の現実世界のばらつきや動画ベースのデモを扱う際には顕著である。

Figure 2: A categorization of methods addressing the covariate shift problem. Interactive IL assumes access to an online expert. DAgger like algorithms require the expert to provide corrective labels for each action taken by the agent. On the other hand, human-gated and robot-gated methods provide c