[論文レビュー] Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets

Cong Fei, Bin Wang+6 more|arXiv (Cornell University)|May 19, 2020

Human Pose and Action Recognition参考文献 16被引用数 5

ひとこと要約

Triple-GAILは、補助的スキルセレクタを備えた生成対抗ネットワークを用いて、スキル選択と行動クラーニングを同時に学習するマルチモーダルな模倣学習フレームワークを提案する。生成器、識別器、セレクタを含む三重の敵対的ゲームを導入することで、マルチモーダルな行動をモデル化する上で優れた性能を発揮し、ドライブおよびRTSゲームのベンチマークでそれぞれ73.9%および76.3%の勝率を達成し、最先端手法を上回った。

ABSTRACT

Generative adversarial imitation learning (GAIL) has shown promising results by taking advantage of generative adversarial nets, especially in the field of robot learning. However, the requirement of isolated single modal demonstrations limits the scalability of the approach to real world scenarios such as autonomous vehicles' demand for a proper understanding of human drivers' behavior. In this paper, we propose a novel multi-modal GAIL framework, named Triple-GAIL, that is able to learn skill selection and imitation jointly from both expert demonstrations and continuously generated experiences with data augmentation purpose by introducing an auxiliary skill selector. We provide theoretical guarantees on the convergence to optima for both of the generator and the selector respectively. Experiments on real driver trajectories and real-time strategy game datasets demonstrate that Triple-GAIL can better fit multi-modal behaviors close to the demonstrators and outperforms state-of-the-art methods.

研究の動機と目的

• 実世界のシナリオで適応的スキル選択を必要とする状況において、単一モーダルな模倣学習の限界を解消すること。
• Expertのデモンストレーションにおける複数の行動モードを明示的にモデル化することで、GAILにおけるモード崩壊を克服すること。
• 事前にラベル付けされたデモンストレーションに依存せずに、スキル選択とポリシー生成の共同最適化を可能にすること。
• マルチモーダルな設定における生成器およびセレクタの両者に対して、理論的な収束保証を提供すること。
• 補助監視を用いたエンドツーエンドの訓練により、ラベル条件付き模倣学習タスクの性能を向上させること。

提案手法

• 生成器（ポリシー）、識別器（代替報酬）、および補助的スキルセレクタからなる三重の敵対的フレームワークを導入する。
• 生成器は、スキルラベルに条件付けられた状態-行動ペアを学習する一方、セレクタは与えられた状態に対して正しいスキルラベルを予測する。
• 識別器は、Expertの軌道（状態-行動-ラベルの三重組）と生成された軌道を区別し、ポリシー最適化のための報酬信号を提供する。
• Expertデモンストレーションにクロスエントロピー損失を適用してセレクタを監視し、共同学習中にその精度を向上させる。
• ポリシーの探索を促進するエントロピー正則化と、分離されたスキル表現を実現する相互情報量の最大化を含む正則化された目的関数を適用する。
• 生成器とセレクタを敵対的最適化を用いてエンドツーエンドで訓練し、両者に対して理論的な収束保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルな模倣学習フレームワークは、モード崩壊を回避しながら、スキル選択と行動クラーニングを同時に最適化できるか？

主な発見

• Mini-RTSゲームにおいて、Triple-GAILはSIMPLEエージェントに対して73.9%、HIT-N-RUNエージェントに対して68.3%の勝率を達成し、すべてのベースラインを上回った。
• Triple-GAILのセレクタは、ドライブスキル分類で90%の精度を達成し、CGAILを著しく上回り、共同最適化の利点を示した。
• クロスエントロピー損失項 $ R_E $ を削除するとセレクタの精度が低下し、Expertデモンストレーションからの監視信号の重要性が確認された。
• 真のラベルを用いたTriple-GAIL（Triple-GAIL + label）は、78.9%および76.3%の勝率を達成し、固定モデルを上回る性能向上が確認された。
• 可視化結果から、Triple-GAILエージェントが相手の行動に応じて戦術を適応させていることが確認された。例えば、妨害に備えて射程タンクを建造する、または連携攻撃を開始するなど。
• 理論的分析により、互換性のある報酬関数のもとで、生成器およびセレクタがそれぞれ最適解に収束することが保証された。これにより、安定した訓練が可能となった。