[論文レビュー] Domain-Robust Visual Imitation Learning with Mutual Information Constraints

Edoardo Cetin, Oya Çeliktutan|arXiv (Cornell University)|Mar 8, 2021

Human Pose and Action Recognition参考文献 36被引用数 4

ひとこと要約

本稿では、相互情報量制約によって正則化された潜在表現ボトルneckを用いた敵対的訓練を採用し、タスク完了信号とドメイン固有の変動を分離するドメインに頑健な視覚的模倣学習フレームワーク、DisentanGAILを提案する。本手法により、自らの視点ではなく別のエージェントの視点から観測された高次元の観測から効果的な模倣が可能となり、外見的およびエージェントの身体的特性における顕著なドメインシフト下でも強力な性能を達成する。

ABSTRACT

Human beings are able to understand objectives and learn by simply observing others perform a task. Imitation learning methods aim to replicate such capabilities, however, they generally depend on access to a full set of optimal states and actions taken with the agent's actuators and from the agent's point of view. In this paper, we introduce a new algorithm - called Disentangling Generative Adversarial Imitation Learning (DisentanGAIL) - with the purpose of bypassing such constraints. Our algorithm enables autonomous agents to learn directly from high dimensional observations of an expert performing a task, by making use of adversarial learning with a latent representation inside the discriminator network. Such latent representation is regularized through mutual information constraints to incentivize learning only features that encode information about the completion levels of the task being demonstrated. This allows to obtain a shared feature space to successfully perform imitation while disregarding the differences between the expert's and the agent's domains. Empirically, our algorithm is able to efficiently imitate in a diverse range of control problems including balancing, manipulation and locomotive tasks, while being robust to various domain differences in terms of both environment appearance and agent embodiment.

研究の動機と目的

• エージェント自身の視点ではなく、別のエージェントの視点から観測された専門家の模倣行動を用いる場合の視覚的模倣学習の課題に対処すること。
• 運動感覚的または遠隔操作による模倣に依存するエージェント中心の模倣の限界を克服し、自然でないユーザ-エージェント間の相互作用を避けること。
• 環境外見およびエージェントの身体的特性におけるドメインシフトが生じる状況下でも、高次元制御タスクにおける効果的な模倣を可能にすること。
• 手動で設計された特徴量やタスク構造に関する強い仮定に依存せずに、タスク完了レベルのドメイン不変表現を学習する手法を開発すること。
• 生成的敵対的フレームワーク内で相互情報量制約を適用することで、複雑で現実世界に近い模倣シナリオにおいても、堅牢性とスケーラビリティを確保すること。

提案手法

• タスク完了関連情報のみを符号化する潜在ボトルneckを備えた新規ディスクライマーを導入し、相互情報量制約によって正則化する。
• 2つの相互情報量制約を強制する：1つは潜在表現と観測元（エージェント対専門家）の間に、もう1つはドメイン情報が潜在空間に符号化されないようにするもの。
• 相互情報量推定中のドメイン情報のすり替えを防ぐために、訓練の安定性を向上させるために二重統計ネットワーク（2St）を実装する。
• ディスクライマーの層にスペクトル正規化を適用することで、訓練の安定性を向上させ、モード崩壊を防止する。
• 敵対的ディスクライマーから得られる報酬信号を用いて、オフポリシー強化学習でエージェントを訓練する。
• 背景の外見やエージェントの形状といった関係のないドメイン固有の特徴から、ゴール達成信号を分離できるようにモデルを設計する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量制約は、視覚的観測におけるドメイン固有の変動からタスク完了信号を効果的に分離できるか？
• RQ2 環境外見およびエージェントの身体的特性に顕著なドメインシフトが生じる状況下でも、本手法はどのように性能を示すか？
• RQ3 ドメイン情報のすり替えが相互情報量推定に与える影響は何か？ また、訓練中にその影響をどのように軽減できるか？
• RQ4 本手法のアーキテクチャは、歩行や操作といった高次元制御タスクにスケーリング可能か？
• RQ5 スペクトル正規化や二重統計ネットワークといったアーキテクチャ的要素は、訓練の安定性と性能にどのように寄与するか？

主な発見

• DisentanGAILは、Reacher、Inverted Pendulum、Hopper、7DOF-Pusherを含む多様な制御タスクで最先端の性能を達成し、ReacherとInverted Pendulumタスクにおける平均リターンはそれぞれ0.973±0.074および1.021±0.023を達成した。
• 本手法はドメインシフトに対して頑健である：背景が変更された代替のターゲット環境（例：Hopperでは暗い床、7DOF-Pusherでは緑色のテーブル）でも、性能が維持され、Hopperでは0.709±0.078、7DOF-Pusherでは0.835±0.039のリターンを示した。これは、元の環境における0.749±0.026および0.901±0.044と比較して良好な結果である。
• アブレーションスタディの結果、スペクトル正規化と二重統計ネットワークの両方が性能向上に寄与しており、特にInverted Pendulumタスクにおいては後者の影響がわずかに大きいことが分かった。
• スペクトル正規化を削除すると、初期の収束は速くなるが、訓練の安定性が低下するため、速度と頑健性のトレードオフが生じることが示された。
• 二重統計ネットワークは、ドメイン情報のすり替えを効果的に防止し、それにより相互情報量推定の精度が低下し、ポリシー性能が劣化するのを防いでいる。
• モデルは、床タイルの外見など、関係のないドメイン固有の手がかりから、タスク関連の特徴を効果的に分離できており、視覚的背景が顕著に異なる状況下でも、効果的な模倣が可能である。