[論文レビュー] Domain-Adversarial and Conditional State Space Model for Imitation Learning

Ryo Okumura, Masashi Okada+1 more|arXiv (Cornell University)|Jan 31, 2020

Fault Detection and Control Systems参考文献 43被引用数 4

ひとこと要約

本論文は、大規模なドメインシフトを伴う部分的に観測可能な環境における示範学習のためのドメインに依存しない、タスクおよびダイナミクスに注意を向ける状態表現を学習するドメイン敵対的かつドメイン条件付き状態空間モデル（DAC-SSM）を提案する。ドメイン識別器とドメイン条件付きエンコーダ/デコーダを用いた敵対的訓練により、状態推定、観測再構成、前向きダイナミクス、報酬モデリングの4つの目的を同時に最適化することで、DAC-SSMは連続制御タスクにおいて熟練者レベルの性能を達成する。特に報酬がスパarsityなシミュレータでは、ベースラインを2倍以上上回る性能を発揮する。

ABSTRACT

State representation learning (SRL) in partially observable Markov decision processes has been studied to learn abstract features of data useful for robot control tasks. For SRL, acquiring domain-agnostic states is essential for achieving efficient imitation learning. Without these states, imitation learning is hampered by domain-dependent information useless for control. However, existing methods fail to remove such disturbances from the states when the data from experts and agents show large domain shifts. To overcome this issue, we propose a domain-adversarial and conditional state space model (DAC-SSM) that enables control systems to obtain domain-agnostic and task- and dynamics-aware states. DAC-SSM jointly optimizes the state inference, observation reconstruction, forward dynamics, and reward models. To remove domain-dependent information from the states, the model is trained with domain discriminators in an adversarial manner, and the reconstruction is conditioned on domain labels. We experimentally evaluated the model predictive control performance via imitation learning for continuous control of sparse reward tasks in simulators and compared it with the performance of the existing SRL method. The agents from DAC-SSM achieved performance comparable to experts and more than twice the baselines. We conclude domain-agnostic states are essential for imitation learning that has large domain shifts and can be obtained using DAC-SSM.

研究の動機と目的

• 示範学習におけるドメインシフトの課題に対処すること。具体的には、制御とは関係のない外観や文脈の違いによって、熟練者データとエージェントデータが異なる状況を想定する。
• ドメイン固有の干渉要因（例：ロボットの外観、カメラのアングル）に依存しない状態表現を学習し、タスク関連のダイナミクスを保持すること。
• 部分的に観測可能なマルコフ決定過程（POMDPs）における示範学習の性能を向上させることで、ドメイン不変の制御特徴とドメイン固有のノイズを分離すること。
• 状態推定、再構成、ダイナミクス、報酬モデリングを統合的に最適化する包括的なフレームワークを構築すること。
• 大規模なドメインシフト、特に報酬がスパarsityな環境下で、ドメインに依存しない状態表現が効果的な示範学習に不可欠であることを検証すること。

提案手法

• DAC-SSMは、潜在状態におけるドメイン固有情報の最小化を目的としたドメイン敵対的訓練を組み込んだ再帰的状態空間モデル（RSSM）を拡張する。
• ドメイン識別器は潜在状態のドメインを分類するように学習され、その損失は勾配反転を用いて最小化され、ドメイン不変性を促進する。
• エンコーダとデコーダはドメインラベルに条件付けられており、ドメイン固有の特徴と制御に関連する特徴を分離して再構成可能である。
• モデルは4つの目的を同時に最適化する：状態推定、観測再構成、前向きダイナミクス予測、報酬モデリング。
• 報酬モデルは、潜在状態に基づいて軌道の質を評価する最適性識別器として実装され、示範報酬はドメインに依存しない表現から計算される。
• 学習目的にはドメイン混乱損失（敵対的）とドメインラベルに条件付けられた再構成損失が含まれており、制御に関連する特徴とドメイン固有の特徴の分離を可能にする。

実験結果

リサーチクエスチョン

• RQ1 熟練者データとエージェントデータに大きなドメインシフトが存在する状況下でも、ドメインに依存しない状態表現を効果的に学習できるか？
• RQ2 制御に無関係な視覚的変化が存在する状況で、ドメイン識別器を用いた敵対的訓練が示範学習の性能を向上させるか？
• RQ3 エンコーダとデコーダをドメインラベルに条件付けた場合、ドメイン不変特徴とタスク関連特徴の分離にどのような影響を与えるか？
• RQ4 ドメインシフトを伴う報酬がスパarsityな連続制御タスクにおける既存のSRL手法を上回る性能をDAC-SSMが達成できるか？
• RQ5 ハイパーパrameterチューニング（例：ドメイン混乱損失係数）が学習された状態表現の質に与える影響は何か？

主な発見

• DAC-SSMは、評価されたすべての報酬がスパarsityなタスクで熟練者ポリシーと同等の性能を達成し、ベースライン（PlaNet+D_O）を累積報酬の観点で2倍以上上回った。
• 二重報酬を用いたDAC-SSMバージョン（DAC/dual）は、カップキャッチを除き、全タスクで最良の性能を示した。ただし、カップキャッチでは計画ホライズンが短いため、示範報酬が不十分だった。
• ドメイン敵対的訓練を除去した場合（DA/dual）、性能が著しく低下した。これは、敵対的訓練がドメイン不変性を達成するために不可欠であることを示している。
• アブレーションスタディの結果、ドメイン条件付きエンコーダ/デコーダのみ（DC/dual）でもDAC/dualにほぼ同等の性能を発揮したが、敵対的訓練と組み合わせて初めて最適な結果が得られた。
• 再構成結果から、DAC-SSMは制御に関連する特徴（例：関節角度）を捉えながら、ドメイン固有の特徴（例：床の色、物体のテクスチャ）を抑制していることが確認され、成功した分離が実現されている。
• ドメイン混乱損失係数λはタスクに依存した最適値を示し、コネクタインサーションではλ=3が最良の性能をもたらした。これは、ハイパーパrameterチューニングが堅牢性にとって不可欠であることを示している。