[論文レビュー] Generative Adversarial Imitation from Observation

Faraz Torabi, Garrett Warnell+1 more|arXiv (Cornell University)|Jul 17, 2018

Reinforcement Learning in Robotics参考文献 35被引用数 95

ひとこと要約

GAIfO は状態のみのデモンストレーションから模倣するために GAN ライクなフレームワークを用い、アクションを意識した方法と競争力のある性能を達成し、高次元のビジュアルで特に優れる。

ABSTRACT

Imitation from observation (IfO) is the problem of learning directly from state-only demonstrations without having access to the demonstrator's actions. The lack of action information both distinguishes IfO from most of the literature in imitation learning, and also sets it apart as a method that may enable agents to learn from a large set of previously inapplicable resources such as internet videos. In this paper, we propose both a general framework for IfO approaches and also a new IfO approach based on generative adversarial networks called generative adversarial imitation from observation (GAIfO). We conduct experiments in two different settings: (1) when demonstrations consist of low-dimensional, manually-defined state features, and (2) when demonstrations consist of high-dimensional, raw visual data. We demonstrate that our approach performs comparably to classical imitation learning approaches (which have access to the demonstrator's actions) and significantly outperforms existing imitation from observation methods in high-dimensional simulation environments.

研究の動機と目的

• 専門家のアクションが利用できない場合に模倣学習を動機づけ、状態のみのデモンストレーションを活用する。
• 状態遷移に焦点を当てた観察からの模倣 (IfO) の一般的なフレームワークを提案する。
• 状態遷移コストを回復しポリシーを訓練するためのモデルフリー GAIfO アルゴリズムを開発する。
• 低次元および高次元（視覚）環境における GAIfO の有効性を示す。

提案手法

• IfO のために状態-遷移コスト c: S x S -> R を定義し、状態-行動コストではなくする。
• 行動を用いず、c と状態遷移を用いる観察からの IRL IRLfO を定式化する。
• GAIfO を状態遷移占有測度を用いる特定の RL + GAN 形式として導入する。
• 識別子 D を用いて専門家と模倣者の状態遷移を識別し、D を騙すようにポリシーを訓練する。
• 状態遷移に GAN ライクな損失（D）を適用したミニマックスゲームとして GAIfO の目的を導出し、ポリシー最適化には TRPO を用いる。
• 低次元状態と視覚的状態表現の双方について実践的な実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 観察からの模倣はデモンストレーターのアクションにアクセスできなくても競争力のあるポリシーを回復できるか。
• RQ2 状態遷移情報をどのように活用して模倣者の挙動を専門家の挙動に一致させられるか。
• RQ3 GA 正則化を用いた IRLfO と状態遷移に基づく GAN 的識別との理論的関係は何か。
• RQ4 GAIfO は低次元と高次元（視覚）的デモンストレーションでどう性能を示すか。
• RQ5 視覚データが支配的な複雑で循環的なタスクへ GAIfO はスケールするか。

主な発見

• GAIfO は低次元タスクで他の IfO ベースラインと同等またはそれを上回る。
• GAIfO はデモンストレーターのアクションにアクセスできないにもかかわらず、GAIL と同程度の性能を示す。
• 高次元の視覚環境では既存の IfO 手法を上回る。
• 時間整合型手法が苦手な循環的または長時間の挙動を要するタスクでも GAIfO は有効。
• 視覚デモンストレーションでは GAIfO は BCO と TCN を超え、TRPO で訓練された視覚状態ポリシーの性能に近づく。
• この手法は状態遷移分布をアクション情報なしで専門家に合わせられることを示している。