[論文レビュー] Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning

Kimin Lee, Younggyo Seo+3 more|arXiv (Cornell University)|May 14, 2020

Reinforcement Learning in Robotics被引用数 28

ひとこと要約

本論文は、環境のダイナミクスをエンコードする文脈ラティントルーベクトルを学習し、次状態予測を条件づけることで、モデルベース強化学習における一般化性能を向上させる文脈に配慮したダイナミクスモデル（CaDM）を提案する。前向きおよび後向きダイナミクス予測を同時に最適化することで、動的特性が異なる未観測環境に対しても優れた一般化性能を達成し、アンサンブル法やモデルベースメタ強化学習のベースラインを上回る。シミュレーテッドロボットイーアクティビティで検証された。

ABSTRACT

Model-based reinforcement learning (RL) enjoys several benefits, such as data-efficiency and planning, by learning a model of the environment's dynamics. However, learning a global model that can generalize across different dynamics is a challenging task. To tackle this problem, we decompose the task of learning a global dynamics model into two stages: (a) learning a context latent vector that captures the local dynamics, then (b) predicting the next state conditioned on it. In order to encode dynamics-specific information into the context latent vector, we introduce a novel loss function that encourages the context latent vector to be useful for predicting both forward and backward dynamics. The proposed method achieves superior generalization ability across various simulated robotics and control tasks, compared to existing RL schemes.

研究の動機と目的

• 変動する遷移ダイナミクスを示す環境間でモデルベース強化学習の一般化を向上させること。
• グローバルダイナミクスモデルが未観測のダイナミクスシフトに適応できないという限界を解消すること。
• 文脈符号化とダイナミクス予測を分離することで、新しい環境への迅速な適応を可能にすること。
• ラティントルーベクトルが前向きおよび後向きダイナミクス予測の両方に有用であるように促進する損失関数を開発すること。
• 学習された文脈ベクトルがモデルフリー強化学習でも一般化性能を向上させることを実証すること。

提案手法

• 最近の状態-行動トラジェクトリから文脈エンコーダーを用いてラティントルーベクトルを生成し、環境固有のダイナミクスを捉える。
• ラティントルーベクトルを前向きダイナミクスモデルに条件づけることで、未観測環境へのオンライン適応を可能にする。
• 1ステップ先の前向き予測と、将来のステップにおける前向き・後向き予測を同時に最適化する新しい損失関数を設計する。
• 時間的整合性正則化を追加し、ラティントルーベクトルが近い将来のタイムステップに対しても有用であることを保証する。
• 条件付き推論を介して、任意のダイナミクスモデルアーキテクチャ（例：フィードフォワードまたは再帰的ネットワーク）と互換性を持たせる。
• ポリシー・ネットワークへの追加入力として学習済み文脈ベクトルを供給することで、モデルフリー強化学習への応用を拡張する。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮したダイナミクスモデルは、異なるダイナミクスを示す環境間でモデルベース強化学習の一般化を向上させることができるか？
• RQ2 前向き予測に加えて後向き予測も最適化することで、標準的な前向きのみの学習に比べてより優れた文脈表現が得られるか？
• RQ3 学習済み文脈ベクトルを用いて、再トレーニングなしに未観測環境への適応が可能か？
• RQ4 文脈ベクトルはPPOのようなモデルフリー強化学習手法において、どの程度一般化性能を向上させるか？
• RQ5 アンサンブル法やモデルベースメタ強化学習と比較して、本手法はダイナミクスシフトに対してどの程度ロバストか？

主な発見

• CaDMは、MuJoCoおよびOpenAI Gymの複数のタスクにおいて、訓練環境とテスト環境の間の性能ギャップを顕著に縮小し、アンサンブル法やモデルベースメタ強化学習のベースラインを上回った。
• 質量パラメータが変動するHalfCheetah環境では、CaDMはテスト範囲全体で低予測誤差を維持するが、ベースラインのPE-TSは訓練分布外では性能が著しく低下した。
• ラティントルーベクトルのPCA可視化では、異なるポール質量などの異なるダイナミクス領域が明確に分離しており、文脈ベクトルが意味のある環境的文脈を捉えていることが確認された。
• CaDMによる将来状態予測は長時間スパンでも正確に保たれるが、ヴァニラおよびスタックドダイナミクスモデルは精度が急速に低下した。
• PPOに供給された場合、CaDMはCrippledHalfCheetahやSlimHumanoidのような複雑なタスクにおいて、先行する文脈学習手法を上回る一般化性能を示した。
• アブレーションスタディにより、前向きおよび後向き予測損失の両方を含めることで最良の一般化性能が得られ、提案損失関数の設計が妥当であることが裏付けられた。