[論文レビュー] Investigating Compounding Prediction Errors in Learned Dynamics Models

Nathan Lambert, Kristofer S. J. Pister+1 more|arXiv (Cornell University)|Mar 17, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、モデルベース強化学習（MBRL）で用いられる学習済みダイナミクスモデルにおける予測誤差の累積的増大の根本的要因を調査する。シミュレートされたおよび実世界のシステムを対象とした体系的実験を通じて、長期予測誤差に最も大きな影響を与える要因は、システムの内在的ダイナミクスであることが特定され、モデルアーキテクチャーやトレーニング詳細は二次的な役割を果たす。主な貢献は、不安定なダイナミクスが誤差増大を支配することをデータドリブンな分析によって示し、ロボティクスや制御分野におけるより頑健な予測モデルの設計に役立つインサイトを提供することである。

ABSTRACT

Accurately predicting the consequences of agents' actions is a key prerequisite for planning in robotic control. Model-based reinforcement learning (MBRL) is one paradigm which relies on the iterative learning and prediction of state-action transitions to solve a task. Deep MBRL has become a popular candidate, using a neural network to learn a dynamics model that predicts with each pass from high-dimensional states to actions. These "one-step" predictions are known to become inaccurate over longer horizons of composed prediction - called the compounding error problem. Given the prevalence of the compounding error problem in MBRL and related fields of data-driven control, we set out to understand the properties of and conditions causing these long-horizon errors. In this paper, we explore the effects of subcomponents of a control problem on long term prediction error: including choosing a system, collecting data, and training a model. These detailed quantitative studies on simulated and real-world data show that the underlying dynamics of a system are the strongest factor determining the shape and magnitude of prediction error. Given a clearer understanding of compounding prediction error, researchers can implement new types of models beyond "one-step" that are more useful for control.

研究の動機と目的

• モデルベース強化学習（MBRL）で用いられる1ステップ学習済みダイナミクスモデルにおける予測誤差の累積的増大の根本的要因を理解すること。
• システムダイナミクス、データ分布、モデルトレーニングの影響を分離し、長期予測精度に与える影響を定量化すること。
• 誤差増大に最も影響を与えるシステム要因およびモデリング要因を特定することで、より良い予測モデルの設計に役立つインサイトを提供すること。
• モデルアーキテクチャーやトレーニングハイパーパrameterが誤差の主因であるという仮定に疑問を呈し、代わりにシステムダイナミクスが主要因であることを強調すること。

提案手法

• ダイナミクス、ノイズレベル、次元数が異なる複数のシミュレート済みおよび実世界のロボットシステムを対象に、制御された実験を実施した。
• システムダイナミクスの影響をデータ分布やモデルトレーニングの影響から分離するために、一貫した条件下でデータ収集と評価を実施した。
• 標準的なディープラーニングパイプラインを用いて、決定論的および確率的ニューラルネットワークを含むさまざまな1ステップダイナミクスモデルをトレーニングした。
• 予測ホライズン（h）を徐々に延長させながら予測誤差を測定し、誤差の累積的増大の挙動を分析した。
• 確率的モデルでは期待値ベースの軌道伝搬を用い、不確実性下での誤差増大を評価した。
• 異なるシステムにおける誤差パターンを分析し、誤差が時間経過とともに線形に増加するか、加速するか、あるいは飽和するかを特定した。

実験結果

リサーチクエスチョン

• RQ1 予測誤差の累積的増大に最も顕著に影響を与える要因は、システムダイナミクス、データ分布、それともモデルトレーニングのうちどれか？
• RQ2 異なる種類のシステムにおいて、予測誤差の形状と大きさは長期ホライズンにわたってどのように変化するか？
• RQ3 システムノイズや次元数の変更が、長期予測精度にどの程度影響を与えるか？
• RQ4 長期予測における誤差増大は、ある時点で飽和するのか。もしそうならば、どのような条件下で起こるか？
• RQ5 線形モデルや決定論的ネットワークなどの単純なモデルが、特定のシステム領域において、より複雑なモデルを上回る性能を示すことは可能か？

主な発見

• システムの内在的ダイナミクスが、長期予測誤差の最も強い要因であり、不安定なダイナミクスは誤差の急速な累積的増大を引き起こす。
• 同じデータとモデルアーキテクチャを用いても、本質的に不安定なダイナミクスを有するシステムは、安定なシステムに比べて顕著に高い誤差増大を示す。
• 予測誤差は、初期のホライズン h を超えるとしばしば飽和する傾向があり、これにより誤差増大の速度が低下するが、その時点で予測はもはや制御に信頼できるものではない。
• 中程度のノイズをゼロに低下させることで得られる予測精度の向上は、次第に効果が小さくなるため、ノイズは誤差の主因ではないと示唆される。
• 線形モデルや決定論的ニューラルネットワークなどの単純なモデルは、特に低次元システムにおいて強力なベースラインを提供する。
• モデル選択やトレーニングハイパーパrameterは、システムダイナミクスの固有的性質に比べて二次的な影響を及ぼす。