[論文レビュー] Intervention Design for Effective Sim2Real Transfer

Melissa Mozifian, Amy Zhang+2 more|arXiv (Cornell University)|Dec 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 8

ひとこと要約

本論文は、強化学習におけるシミュレーションから現実世界への転移を向上させるために、ドメインランダマイゼーションとデータオーグメンテーションを因果的介入として組み合わせた、介入ベースの不変転移（IBIT）を提案する。非因果的視覚的変化（例えば、背景テクスチャや照明）に対して不変性を強制することにより、IBITはタスクに特化した堅牢な表現を学習可能にし、ピクセル観測のみを用いて7DoFのJacoロボットアームでゼロショットのシミュレーションから現実世界への転移を達成した。

ABSTRACT

The goal of this work is to address the recent success of domain randomization and data augmentation for the sim2real setting. We explain this success through the lens of causal inference, positioning domain randomization and data augmentation as interventions on the environment which encourage invariance to irrelevant features. Such interventions include visual perturbations that have no effect on reward and dynamics. This encourages the learning algorithm to be robust to these types of variations and learn to attend to the true causal mechanisms for solving the task. This connection leads to two key findings: (1) perturbations to the environment do not have to be realistic, but merely show variation along dimensions that also vary in the real world, and (2) use of an explicit invariance-inducing objective improves generalization in sim2sim and sim2real transfer settings over just data augmentation or domain randomization alone. We demonstrate the capability of our method by performing zero-shot transfer of a robot arm reach task on a 7DoF Jaco arm learning from pixel observations.

研究の動機と目的

• ドメインランダマイゼーションとデータオーグメンテーションがなぜシミュレーションから現実世界への転移に成功するかを、因果推論の枠組みを通して理解すること。
• 訓練中に関係のない要因や過敏に反応する環境要因を変更することで生じる負の転移のリスクに対処すること。
• スパurious相関を除去する明示的な不変性目的を組み込むことで、シミュレーション同士（sim2sim）およびシミュレーションから現実世界（sim2real）への一般化を向上させること。
• ピクセル観測のみを用いて、現実世界のロボット操作タスクにおいてゼロショットのシミュレーションから現実世界への転移を実証すること。
• 現実の摂動を再現する必要はなく、現実世界でも変動する次元に沿った変動があれば十分であることを示すこと。

提案手法

• 環境を潜在状態空間と観測空間を確率的発生関数 $ q $ でマッピングする構造的MDPとしてモデル化する。
• データオーグメンテーションとドメインランダマイゼーションを、観測マッピング $ q $ に対する介入として扱い、特にレンダリングおよびレンダリング後処理のコンponentsを標的とする。
• ドメインランダマイゼーションと視覚的摂動に対する不変性目的を組み合わせた、IBITと呼ばれるマルチタスク学習フレームワークを導入する。
• 同じ状態の異なる摂動に対してQ関数が安定するよう促す勾配ベースの不変性ペナルティを用いる。
• 標準的な画像変換（例：ランダムシフト、カラーのジャマ）を観測空間への介入として用い、現実世界の視覚的変動を模倣する。
• 同じ画像の増幅されたビューに対して類似したQ値を出力するよう促すコントラスト型の不変性目的を採用し、非因果的特徴に対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 どの種類の環境摂動がシミュレーションから現実世界への転移を成功させるのか、そしてなぜそれが機能するのか？
• RQ2 ドメインランダマイゼーションとデータオーグメンテーションは、因果推論フレームワークにおいて形式的に介入と見なせるか？
• RQ3 非因果的視覚的変化に対する不変性を明示的に強制することで、標準的なデータオーグメンテーションやドメインランダマイゼーションよりも一般化性能が向上するか？
• RQ4 摂動が物理的に現実的でなくてもよいのか、それとも現実世界で変動する次元に沿った変動があれば十分なのか？
• RQ5 シミュレーション内で訓練された1つのポリシーが、ピクセル観測のみを用いて現実世界のロボット操作タスクにゼロショットで一般化可能か？

主な発見

• ドメインランダマイゼーションとデータオーグメンテーションは、現実を模倣するからではなく、非因果的視覚的特徴に対する不変性を促す介入として機能するから効果的である。
• 摂動が物理的に現実的である必要はない。現実世界でも変動する次元に沿った変動があれば十分である。
• ドメインランダマイゼーションと明示的な不変性目的を組み合わせたIBITは、シミュレーション同士（sim2sim）およびシミュレーションから現実世界（sim2real）への転移において、標準的なデータオーグメンテーションやドメインランダマイゼーション単体よりも優れた性能を示した。
• 本手法により、ピクセル観測のみを用いて7DoFのJacoロボットアームでゼロショットのシミュレーションから現実世界への転移が可能となり、著者らの知る限り、最先端のピクセルベースの深層強化学習手法で初めての実証であった。
• 不変性目的により、視覚的特徴におけるスパurious相関への依存が軽減され、エージェントはタスクに特化したダイナミクスや報酬構造に集中できるようになった。
• 実験結果から、不変性目的が、背景テクスチャなどの非本質的視覚的コンponentsに対しても、耐性と一般化性能の向上をもたらすことが示された。