[論文レビュー] Adversarial Option-Aware Hierarchical Imitation Learning

Mingxuan Jing, Wenbing Huang+5 more|arXiv (Cornell University)|Jun 10, 2021

Reinforcement Learning in Robotics参考文献 30被引用数 9

ひとこと要約

本稿では、オプションを用いて長時間スケールのタスクをモデル化し、オプション拡張型オーキュパイアンス測定マッチングを用いた敵対的最適化によりポリシーを訓練する、新しい階層的模倣学習フレームワークであるOption-GAILを提案する。EMに類似したアルゴリズムを用いて高レベルおよび低レベルのポリシーを同時に最適化し、ロボットの歩行および操作タスクにおいて、最先端のベースラインと比較してより高速な収束と優れた性能を達成する。

ABSTRACT

It has been a challenge to learning skills for an agent from long-horizon unannotated demonstrations. Existing approaches like Hierarchical Imitation Learning(HIL) are prone to compounding errors or suboptimal solutions. In this paper, we propose Option-GAIL, a novel method to learn skills at long horizon. The key idea of Option-GAIL is modeling the task hierarchy by options and train the policy via generative adversarial optimization. In particular, we propose an Expectation-Maximization(EM)-style algorithm: an E-step that samples the options of expert conditioned on the current learned policy, and an M-step that updates the low- and high-level policies of agent simultaneously to minimize the newly proposed option-occupancy measurement between the expert and the agent. We theoretically prove the convergence of the proposed algorithm. Experiments show that Option-GAIL outperforms other counterparts consistently across a variety of tasks.

研究の動機と目的

• アノテーションなしで分割されていないデモから長時間スケールのスキルを学ぶ課題に対処すること。
• 従来の階層的模倣学習（HIL）手法に共通する誤差の累積と劣悪な解法を克服すること。
• 理論的裏付けがあり、高レベルおよび低レベルのポリシーを同時に最適化できるエンドツーエンドでトレーニング可能なフレームワークを開発すること。
• エキスパートとエージェント間の一貫性あるオプション切り替えを確保するため、オプションをオーキュパイアンス測定マッチングプロセスに組み込むこと。
• エキスパートのオプションアノテーションが不要な状況でも、収束が保証される訓練アルゴリズムを提供すること。

提案手法

• 階層的意思決定を可能にするために、標準的なMDPをオプションモデルに置き換える。これにより、部分タスクへの分解が可能になる。
• 高レベルと低レベルのポリシーの対応を保証するため、状態・行動・オプションの同時分布を捉える新しいオプションオーキュパイアンス測定を導入する。
• Eステップでは、エージェントのポリシーとデモを前提に、エキスパートのオプションをヴィタビデコーディングで推定するEMに類似したアルゴリズムを提案。Mステップでは、高レベルおよび低レベルのポリシーを同時に更新する。
• Mステップでは、生成的敵対的フレームワークを採用：ディスクライマはエキスパートとエージェントのオプションオーキュパイアンスの差を推定し、ポリシーはこのコストを最小化するように階層的強化学習により更新される。
• Mステップにおけるポリシー更新の最適化に、階層的強化学習手法（Zhang & Whiteson, 2019）を用いることで、異なるレベル間での適切な責任配分が保証される。
• やや緩い条件下でも理論的収束性が証明され、EM風トレーニングループの安定性が確立される。

実験結果

リサーチクエスチョン

• RQ1 標準的なオーキュパイアンスマッチングと比較して、オプション拡張型オーキュパイアンス測定マッチングは、階層的模倣学習におけるポリシー一致精度を向上させるか？
• RQ2 エンドツーエンドで同時に最適化される高レベルおよび低レベルのポリシー訓練方式は、2段階法や別々の訓練アプローチを上回るか？
• RQ3 エキスパートのオプションアノテーションが不要な状況でも、オプション推定とポリシー更新のサイクルを繰り返すEMに類似したアルゴリズムは、安定的かつ収束可能なトレーニングを達成できるか？
• RQ4 オプションクラスの数が、学習された階層的ポリシーの性能と表現力に与える影響は何か？
• RQ5 Option-GAILは、最先端のHIL/ILベースラインと比較して、長時間スケールのロボットタスクにおける誤差の累積をどれほど軽減し、最終的な性能を向上させるか？

主な発見

• Option-GAILは、複数のロボットの歩行および操作タスクにおいて、最先端のHILおよびILベースラインと比較して、著しく高速な収束と優れた最終的性能を達成する。
• アブレーションスタディの結果、ランダムなオプション割り当ては性能を著しく劣化させることを確認し、正確なオプション推定の必要性を裏付ける。
• ディスクライマの入力から直前のオプション $o_{t-1}$ を省略すると性能が低下することから、オプションダイナミクスにおける時間的整合性の重要性が示される。
• 高レベルポリシーを別途事前学習する（2段階法）と、性能が劣化することが確認され、エンドツーエンドの共同訓練の利点が裏付けられる。
• オプションクラス数に対してモデルは頑健である：$|o| \geq 3$ の場合、性能は安定し、有効なオプション数は約3に保たれる。これは、余分なオプションの自動削除（プルーニング）が行われていることを示している。
• モデルはエキスパートとエージェント間で協調的なオプション切り替えを効果的に学習できており、GAIL-HRLで見られるような不整合を回避する。これは、オプション認識型マッチングの必要性を検証する。