[論文レビュー] Adversarial Imitation Learning from Incomplete Demonstrations

Mingfei Sun, Xiaojuan Ma|arXiv (Cornell University)|May 29, 2019

Human Pose and Action Recognition参考文献 23被引用数 6

ひとこと要約

本論文は、状態と行動の軌道を分離することで、不完全な行動シーケンスを伴うデモンストレーションからポリシーを学習する、新しいアルゴリズムであるAction-Guided Adversarial Imitation Learning (AGAIL)を提案する。AGAILはジェネレータ、ディスクラミネータ、ガイドネットワークを用い、状態分布に基づいてポリシーを訓練すると同時に、利用可能な行動を補助報酬として活用することで、最大75%の行動欠損があっても、最先端の手法と同等の性能を達成する。

ABSTRACT

Imitation learning targets deriving a mapping from states to actions, a.k.a. policy, from expert demonstrations. Existing methods for imitation learning typically require any actions in the demonstrations to be fully available, which is hard to ensure in real applications. Though algorithms for learning with unobservable actions have been proposed, they focus solely on state information and overlook the fact that the action sequence could still be partially available and provide useful information for policy deriving. In this paper, we propose a novel algorithm called Action-Guided Adversarial Imitation Learning (AGAIL) that learns a policy from demonstrations with incomplete action sequences, i.e., incomplete demonstrations. The core idea of AGAIL is to separate demonstrations into state and action trajectories, and train a policy with state trajectories while using actions as auxiliary information to guide the training whenever applicable. Built upon the Generative Adversarial Imitation Learning, AGAIL has three components: a generator, a discriminator, and a guide. The generator learns a policy with rewards provided by the discriminator, which tries to distinguish state distributions between demonstrations and samples generated by the policy. The guide provides additional rewards to the generator when demonstrated actions for specific states are available. We compare AGAIL to other methods on benchmark tasks and show that AGAIL consistently delivers comparable performance to the state-of-the-art methods even when the action sequence in demonstrations is only partially available.

研究の動機と目的

• 既存の模倣学習手法がデモンストレーションにおける完全な行動シーケンスを必要とすることの制限に対処すること。
• 不完全なため破棄されがちな部分的な行動シーケンスを効果的に活用する手法を開発すること。
• 専門家デモンストレーションにおける行動情報が欠落または信頼できない場合でも、高いポリシー性能を維持すること。
• 敵対的模倣学習フレームワークを損なわず、行動ガイダンスを補助報酬として統合すること。
• ベンチマーク環境におけるさまざまなレベルの行動不完全性に対して、ロバスト性を実証的に検証すること。

提案手法

• AGAILはデモンストレーションを状態軌道と行動軌道に分解し、それぞれを別々に訓練に用いる。
• ジェネレータはポリシーグラデント法を用いてポリシーを学習し、ディスクラミネータからの報酬で訓練される。
• ディスクラミネータは専門家の状態分布と生成された状態分布を区別し、敵対的報酬を提供する。
• ガイドネットワークは、利用可能な場合のデモンストレーション行動とポリシーが生成する行動との間の相互情報量を最大化し、追加の報酬信号を提供する。
• ガイドは行動シーケンスが部分的にしか利用できない場合にのみ訓練され、デモンストレーションの完全性に応じた動的適応を可能にする。
• 敵対的模倣学習と相互情報量最大化を統合することで、不完全なデータからのポリシー学習を向上させるフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 専門家のデモンストレーションに欠落または不完全な行動シーケンスが含まれる場合でも、模倣学習が高精度を達成できるか？
• RQ2 部分的な行動情報のみを補助報酬として組み込むと、状態軌道に依存する場合と比較してポリシー学習にどのような影響を与えるか？
• RQ3 提案されたAGAILフレームワークは、デモンストレーションにおけるさまざまなレベルの行動不完全性に対してもロバスト性を保つのか？
• RQ4 不完全なデモンストレーションで学習した場合、AGAILはGAIL や TRPO といった最先端の手法と比較してどのように性能を発揮するか？
• RQ5 デモンストレーションの品質が、不完全な行動を伴う模倣学習アルゴリズムの性能に果たす役割は何か？

主な発見

• AGAILは、複数の環境において、デモンストレーションに25%の行動しか利用できない場合でも、GAIL や TRPO と同等の性能を一貫して達成する。
• Hopper および Walker2d 環境では、75%の行動不完全性を伴うAGAILが、完全なデモンストレーションで学習したGAILを上回る性能を示した。
• Humanoid 環境では、AGAIL.75 が最高の報酬を達成し、部分的な行動データが完全だが劣化したデモンストレーションよりも効果的である可能性を示した。
• CartPole や Hopper における高い行動完全性（例：AGAIL.00、.25、.50）での性能低下は、劣悪な品質のデモンストレーションが学習に悪影響を及える可能性を示しており、より多くの行動情報があるからといって必ずしも良い結果とは限らないことを示している。
• 結果から、特に行動分布の安定性が重要な要因であり、AGAILは劣化したまたは不完全なデータに対してもロバストであることが示された。
• AGAILは、不完全性比の増加に対してもロバストであり、Hopper および Humanoid において、全テストの不完全性レベルでGAILを上回る高い報酬を維持した。