[論文レビュー] Model-based Policy Optimization with Unsupervised Model Adaptation

Jian Shen, Han Zhao+2 more|arXiv (Cornell University)|Oct 19, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 6

ひとこと要約

本稿では、教師なしモデル適応を用いて、実データとシミュレートされたデータの間の分布マッチングを明示的に低減する、モデルベース強化学習フレームワークAMPOを提案する。特徴量分布の間の積分確率距離（IPM）を最小化することで、特にウォッサーシュタイン-1距離を用いることで、実データとシミュレートデータの特徴量分布の乖離を低減し、ポリシー最適化を改善するとともに、連続制御ベンチマークで最先端のサンプル効率を達成する。

ABSTRACT

Model-based reinforcement learning methods learn a dynamics model with real data sampled from the environment and leverage it to generate simulated data to derive an agent. However, due to the potential distribution mismatch between simulated data and real data, this could lead to degraded performance. Despite much effort being devoted to reducing this distribution mismatch, existing methods fail to solve it explicitly. In this paper, we investigate how to bridge the gap between real and simulated data due to inaccurate model estimation for better policy optimization. To begin with, we first derive a lower bound of the expected return, which naturally inspires a bound maximization algorithm by aligning the simulated and real data distributions. To this end, we propose a novel model-based reinforcement learning framework AMPO, which introduces unsupervised model adaptation to minimize the integral probability metric (IPM) between feature distributions from real and simulated data. Instantiating our framework with Wasserstein-1 distance gives a practical model-based approach. Empirically, our approach achieves state-of-the-art performance in terms of sample efficiency on a range of continuous control benchmark tasks.

研究の動機と目的

• モデルベース強化学習（MBRL）における分布マッチング問題に明示的に対処すること。これは、シミュレートデータにおけるモデル予測の不正確さがポリシー性能を低下させる要因であるため。
• ラベル付きデータや報酬関数の知識を必要とせずに、実データとシミュレートデータの特徴量分布を一致させる手法を開発すること。
• 教師なし適応を用いてモデルが生成するロールアウトの忠実性を高めることで、MBRLにおけるサンプル効率を向上させること。
• 実データとシミュレートデータの分布を一致させることで、期待報酬の下界を最大化する理論的根拠のあるフレームワークを提供すること。
• MBPOのような既存のMBRLフレームワークにモデル適応を統合し、実用的かつ効果的な分布一致を可能にすること。

提案手法

• 実環境における期待報酬の下界を導出し、分布一致を通じた下界の最大化戦略を動機づける。
• AMPO（Adaptation-augmented Model-based Policy Optimization）を提案する。これは、実データとシミュレートデータの特徴量分布の間の積分確率距離（IPM）を最小化する教師なしモデル適応を組み込んだ、新しいMBRLフレームワークである。
• IPMの具体的な実装としてウォッサーシュタイン-1距離を用い、潜在空間における実データとシミュレートデータの分布乖離を測定・最小化する。
• 実データのみを用いてデコーダーを学習させることで、バイアスのない特徴表現を保証し、モデル適応プロセスで実データとシミュレートデータの潜在特徴を一致させる。
• 適応済みモデルをMBPOフレームワークに統合し、高忠実度のシミュレートロールアウトを用いたポリシー最適化を可能にする。
• さらに訓練の安定性とサンプル効率の向上を図るため、適応的長さスケジューリングを用いたマルチステップロールアウト戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 実データとシミュレートデータの間の明示的な分布一致は、モデルベース強化学習におけるポリシー最適化を改善できるか？
• RQ2 IPM最小化による教師なしモデル適応は、シミュレートロールアウトの品質と下流のポリシー性能にどのように影響するか？
• RQ3 連続制御タスクにおいて、ウォッサーシュタイン-1距離を分布一致の目的関数として用いる影響は何か？
• RQ4 サンプル効率および最終的なパフォーマンスの観点から、AMPOは最先端のMBRLおよびMFRL手法と比較してどうなるか？
• RQ5 MBPOのような既存のMBRLフレームワークに、モデル適応を効果的に統合できるか、訓練の安定性を損なわないか？

主な発見

• AMPOは、さまざまな連続制御ベンチマークタスクで最先端のサンプル効率を達成し、モデルフリーおよびモデルベースのベースラインを上回る性能を示した。
• ウォッサーシュタイン-1距離を用いたIPM最小化は、実データとシミュレートデータの特徴量分布の乖離を顕著に低減することが実証された。トレーニング中に両分布間の距離が著しく減少した。
• 固定回数のイテレーション（例：5〜45エポック）での適応と、適応的ロールアウト長スケジューリング（例：1から20に増加）を組み合わせることで、固定スケジュールよりも優れた性能が得られた。
• アブレーションスタディの結果、モデル適応が不可欠であることが確認された。適応を除去すると最終的報酬が顕著に低下し、性能向上への直接的寄与が示された。
• AMPOは安定した訓練ダイナミクスを維持し、Ant、HalfCheetah、Walker2dを含む多様な連続制御環境に良好に一般化した。
• ハイパーパramータの選択に対してロバストであることが示された。特に、実データのみでトレーニングされたデカップルドデコーダーを用いることで、バイアスのない表現学習が保証された。