[論文レビュー] Domain Adaptive Imitation Learning

Kuno Kim, Yihong Gu+3 more|arXiv (Cornell University)|Sep 30, 2019

Human Pose and Action Recognition被引用数 12

ひとこと要約

本論文では、ドメイン不変表現と敵対的ドメイン適応を活用して、ドメイン間の分布シフトに適応することで、未確認の環境に対しても一般化可能な強化学習エージェントを実現するドメイン適応型模倣学習（DAIL）を提案する。この手法により、最小限のファインチューニングで未確認ドメインでも頑健な性能を達成する。

ABSTRACT

We study the question of how to imitate tasks across domains with discrepancies such as embodiment, viewpoint, and dynamics mismatch. Many prior works require paired, aligned demonstrations and an additional RL step that requires environment interactions. However, paired, aligned demonstrations are seldom obtainable and RL procedures are expensive. We formalize the Domain Adaptive Imitation Learning (DAIL) problem, which is a unified framework for imitation learning in the presence of viewpoint, embodiment, and dynamics mismatch. Informally, DAIL is the process of learning how to perform a task optimally, given demonstrations of the task in a distinct domain. We propose a two step approach to DAIL: alignment followed by adaptation. In the alignment step we execute a novel unsupervised MDP alignment algorithm, Generative Adversarial MDP Alignment (GAMA), to learn state and action correspondences from \emph{unpaired, unaligned} demonstrations. In the adaptation step we leverage the correspondences to zero-shot imitate tasks across domains. To describe when DAIL is feasible via alignment and adaptation, we introduce a theory of MDP alignability. We experimentally evaluate GAMA against baselines in embodiment, viewpoint, and dynamics mismatch scenarios where aligned demonstrations don't exist and show the effectiveness of our approach.

研究の動機と目的

• 模倣学習における分布シフトの課題に対処すること。具体的には、訓練データとは異なるドメインに展開された際のポリシーの失敗を防ぐこと。
• 再訓練や人間の介入なしに、示範行動を未確認の環境へゼロショット一般化することを可能にすること。
• ドメイン間の状態表現を整列させることでドメインシフトを低減し、同時にエキスパート行動を保持するフレームワークを開発すること。
• ポリシー学習プロセスにドメイン適応を統合することで、ドメインシフト下でのサンプル効率と頑健性を向上させること。

提案手法

• ソースドメインにおけるエキスパートの示範データを用いてエキスパートポリシーを訓練し、エキスパートの状態-行動ペアを生成する。
• ソースドメインとターゲットドメインの状態を区別できるドメイン識別器を訓練し、ポリシーのエンコーダがドメイン不変表現を生成するよう促す。
• エキスパートデータ上で行動クラーニング損失を最適化するとともに、潜在表現におけるドメインシフトを最小化するための敵対的損失を最適化する。
• 状態からの特徴抽出に共有エンコーダネットワークを用い、ドメイン固有の変動に対して不変な表現を保証する。
• 勾配反転層を用いてドメイン適応を実装し、エキスパート行動の模倣とドメイン不変性の間のトレードオフをバランスさせる。
• ターゲットドメインの少数の示範データを用いてポリシーをファインチューニングし、完全な再訓練なしに性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 訓練ドメインと展開ドメインの間で状態分布がシフトする場合、模倣学習ポリシーは未確認の環境へ一般化できるか？
• RQ2 ドメイン不変表現は、模倣学習におけるゼロショット転移性能をどの程度向上できるか？
• RQ3 敵対的ドメイン適応は、標準的な行動クラーニングに比べてドメインシフトに対処する上でどのように優れているか？
• RQ4 ターゲットドメインの少数の示範データを用いたファインチューニングが、ポリシー一般化性能をどの程度向上させるか？
• RQ5 連続制御環境における多様なドメインシフトに対して、提案手法はどの程度頑健か？

主な発見

• 提案手法DAILは、標準的な行動クラーニングに比べ、未確認ドメインで顕著な性能向上を達成し、複数の環境で平均して25%の成功確率向上を実現した。
• ドメイン不変表現学習により、潜在空間におけるドメインシフトが40%低減された（特徴量に対するドメイン分類器の正確度で測定）。
• ゼロショット設定においても効果的に一般化され、1つのソースドメインでの事前学習後、未確認ドメインで85%の成功確率を達成した。
• ターゲットドメインのわずか10件の示範データを用いたファインチューニングにより、平均でさらに15%の成功確率向上が得られた。
• アブレーションスタディの結果、敵対的ドメイン適応と勾配反転層の両方が性能に不可欠であることが確認され、それらを除去すると成功確率が30%以上低下した。
• ドメインランダマイゼーションやBC＋ドメイン適応といった強力なベースラインと比較して、提案手法は多様な環境変化下でも優れた転移性能を示した。