[論文レビュー] Learning Dynamics Models for Model Predictive Agents

Michael Lutter, Leonard Hasenclever+6 more|arXiv (Cornell University)|Sep 29, 2021

Reinforcement Learning in Robotics参考文献 54被引用数 4

ひとこと要約

本稿は、モデル予測制御における動的モデルの設計選択を体系的に評価しており、DeepMind Control Suiteの5つの環境でモデルフリーのエージェントから得たデータを用いた教師あり学習を通じて実施されている。平均二乗誤差（MSE）は計画性能の予測に不適切であることが判明し、決定論的モデルではマルチステップ損失とアンサンブル、確率的モデルでは入力ノイズと大規模なアンサンブルが最適な構成であることが同定された。これにより、真値に近い性能に近い高報酬で安定した計画が可能になった。

ABSTRACT

Model-Based Reinforcement Learning involves learning a extit{dynamics model} from data, and then using this model to optimise behaviour, most often with an online extit{planner}. Much of the recent research along these lines presents a particular set of design choices, involving problem definition, model learning and planning. Given the multiple contributions, it is difficult to evaluate the effects of each. This paper sets out to disambiguate the role of different design choices for learning dynamics models, by comparing their performance to planning with a ground-truth model -- the simulator. First, we collect a rich dataset from the training sequence of a model-free agent on 5 domains of the DeepMind Control Suite. Second, we train feed-forward dynamics models in a supervised fashion, and evaluate planner performance while varying and analysing different model design choices, including ensembling, stochasticity, multi-step training and timestep size. Besides the quantitative analysis, we describe a set of qualitative findings, rules of thumb, and future research directions for planning with learned dynamics models. Videos of the results are available at https://sites.google.com/view/learning-better-models.

研究の動機と目的

• モデル予測制御における動的モデルの設計選択を個別に隔離し、その影響を評価すること。
• 高パフォーマンスな計画を可能にするフィードフォワードニューラルネットワークの動的モデルのトレーニングにおけるベストプラクティスを特定すること。
• 複雑な制御タスクにおいて、モデルの正確さ（例：MSE）が実際の計画性能と相関するかどうかを評価すること。
• ヒューマノイドのような高次元システムにおけるモデルの悪用や不安定性といった失敗モードを調査すること。
• とりわけ実世界への適用を想定した、モデルベース強化学習におけるモデル学習のための実行可能なガイドラインを提供すること。

提案手法

• DeepMind Control Suiteの5つの連続的制御環境において、事前に訓練されたモデルフリーのエージェントから豊富なデータセットを収集した。
• 状態と行動を入力として、状態遷移を予測するため、フィードフォワードニューラルネットワークを教師あり学習で訓練した。
• 決定論的モデル対確率的モデル、1ステップ損失対マルチステップ損失、アンサンブルの使用、入力ノイズ拡張といった、さまざまな設計選択の下で計画性能を評価した。
• 固定された計画ホライズンを用いたモデル予測制御（MPC）を用い、学習済みモデルの性能を真値シミュレータと比較した。
• 期待および達成された累積報酬を用いて計画性能を定量的に評価し、報酬の乖離を分析することで、モデルの悪用を検出した。
• オープンループロールアウトの定性的分析を通じて、長時間にわたる予測の正確性と安定性を評価した。

実験結果

リサーチクエスチョン

• RQ1 確率性、マルチステップ損失、アンサンブル、入力ノイズといった、さまざまなモデル学習設計選択が、モデル予測制御における計画性能にどのように影響を与えるか。
• RQ2 学習済み動的モデルを用いた際、平均二乗誤差（MSE）が実際の計画性能とどの程度相関するか。
• RQ3 なぜ一部のモデルは、シンプルなタスクでは良好に動作するにもかかわらず、ヒューマノイドのような高次元システムでは失敗するのか。
• RQ4 入力ノイズは、特に確率的モデルにおいて、モデルのロバストネスを向上させる役割を果たすのか。
• RQ5 期待報酬と実際の報酬の乖離の分析によって、モデルの悪用は検出可能かつ是正可能か。

主な発見

• 平均二乗誤差（MSE）—1ステップでもマルチステップでも—は計画性能の予測に信頼性がなく、MSEが高めでも高報酬を達成するモデルが存在する。
• 決定論的モデルでは、マルチステップ損失とアンサンブルの併用が、高パフォーマンスかつ安定した計画性能を達成するために不可欠である。
• 確率的モデルでは、大規模なアンサンブルサイズに加え、訓練時に入力ノイズを導入する必要があり、特にボールインカップのようなタスクでは入力ノイズが極めて重要である。
• ヒューマノイド環境では、すべての学習済みモデルで一貫して失敗しており、発散するオープンループ軌道と極めて楽観的な報酬推定が生じている。
• モデルの悪用は広く見られ、特に接触ダイナミクスを含む強い非線形性を持つシステムでは、不連続性付近での誤ったモデリングにより、計画者が将来の報酬を過大評価する。
• 高MSEであっても、粗い時間ステップを用いたモデルは高報酬を達成する場合があることから、正確な軌道モデリングよりも、構造的な正しさ（例：ボールインカップにおけるトンネル効果の防止）を保証することがより重要であることが示唆された。