[論文レビュー] Augmented World Models Facilitate Zero-Shot Dynamics Generalization From a Single Offline Environment

Philip Ball, Cong Lu+2 more|arXiv (Cornell University)|Apr 12, 2021

Reinforcement Learning in Robotics参考文献 55被引用数 6

ひとこと要約

本論文では、文脈に配慮した変換を学習済みダイナミクスに組み込むことで、オフライン強化学習におけるゼロショットダイナミクス一般化を向上させる、拡張されたワールドモデル（AugWM）を提案する。多様な拡張されたダイナミクス上でポリシーを訓練し、テスト時に自己教師付き線形ダイナミクスモデリングにより正しい文脈を推論することで、環境の報酬をテスト時に必要とせずに、最先端のベースラインを著しく上回る性能を達成する。

ABSTRACT

Reinforcement learning from large-scale offline datasets provides us with the ability to learn policies without potentially unsafe or impractical exploration. Significant progress has been made in the past few years in dealing with the challenge of correcting for differing behavior between the data collection and learned policies. However, little attention has been paid to potentially changing dynamics when transferring a policy to the online setting, where performance can be up to 90% reduced for existing methods. In this paper we address this problem with Augmented World Models (AugWM). We augment a learned dynamics model with simple transformations that seek to capture potential changes in physical properties of the robot, leading to more robust policies. We not only train our policy in this new setting, but also provide it with the sampled augmentation as a context, allowing it to adapt to changes in the environment. At test time we learn the context in a self-supervised fashion by approximating the augmentation which corresponds to the new environment. We rigorously evaluate our approach on over 100 different changed dynamics settings, and show that this simple approach can significantly improve the zero-shot generalization of a recent state-of-the-art baseline, often achieving successful policies where the baseline fails.

研究の動機と目的

• 単一のオフラインデータセットで学習したにもかかわらず、未学習のダイナミクスに一般化できないというオフライン強化学習における重要なギャップを解消すること。
• シミュレータへのアクセスやダイナミクスパラメータの事前知識がなくても、新しい物理的環境へのロバストなゼロショット転送を可能にすること。
• トレーニング中に観測ではなく、ダイナミクスモデル自体を拡張することで、ポリシーのロバスト性を向上させること。
• テスト時に報酬信号を必要とせず、推論中にリアルタイムで適応可能な自己教師付き、報酬フリーな文脈適応メカニズムを開発すること。
• 学習済みワールドモデル内でのダイナミクス拡張が、多様な分布外のダイナミクス設定において顕著な性能向上をもたらすことを示すこと。

提案手法

• 本手法は、単一のオフラインデータセットからワールドモデルを学習し、物理的性質（例：質量、減衰）の変化を模倣する確率的変換をダイナミクス遷移関数に組み込む。
• ポリシー訓練時に、拡張の文脈に条件付けられるため、多様なシミュレートされたダイナミクスにおいて、ダイナミクスにロバストな行動を学習できる。
• テスト時には、実環境の相互作用に基づいて自己教師付き線形ダイナミクスモデルを訓練し、現在のダイナミクス拡張文脈を推論する。
• 推論された文脈がテスト時のポリシーに供給され、報酬信号を必要とせずに1エピソード内での行動適応が可能になる。
• 本手法は完全にモデルベース強化学習フレームワーク内で動作し、不確実性正則化付き更新を用いてトレーニングの安定化を図る。
• 標準的なMuJoCo環境に適用され、多様な分布外のダイナミクス変更の下で評価される。

実験結果

リサーチクエスチョン

• RQ1 シミュレータや環境パラメータへのアクセスなしに、単一のオフラインデータセットで学習したポリシーが、未学習のダイナミクスに一般化できるか？
• RQ2 観測空間ではなく、ダイナミクスモデルを拡張することで、オフライン強化学習におけるより優れたゼロショット一般化が達成できるか？
• RQ3 自己教師付き、報酬フリーな文脈推論メカニズムが、推論中に効果的な文脈内適応を可能にするか？
• RQ4 物理的性質の変更に対して、ダイナミクスレベルの拡張と観測レベルの拡張では、どの程度のロバスト性の差が生じるか？
• RQ5 拡張されたダイナミクスで学習した文脈に配慮したポリシーは、未学習のダイナミクスにおいて、最先端のオフライン強化学習手法をどの程度上回るか？

主な発見

• AugWMは100以上の異なるダイナミクス設定において、ゼロショットダイナミクス一般化を顕著に向上させ、ほぼすべてのケースで最先端のベースライン（MOPO）を上回った。
• HalfCheetah環境では、質量と減衰係数のスケーリング変更の両方において、AugWMがMOPOよりも高い累積報酬を達成し、文脈推論後に性能が回復した。
• Walker2d環境では、質量と減衰係数の変更に対しても、AugWMは安定した性能を維持したが、MOPOはいくつかの設定で完全に失敗した。
• 片足が不自由なAnt環境では、MOPOエージェントは転倒して失敗したが、AugWMエージェントは効果的に適応し、タスクを完了した。
• テスト時の報酬や環境へのアクセスなしに、実世界に似たダイナミクスの変化に対しても、ポリシーの実装が成功した。
• 自己教師付き文脈推論メカニズムにより、1エピソード内での適応が効果的に行われ、ダイナミクスの分布シフトに対してもロバストであることが示された。