[論文レビュー] Combating the Compounding-Error Problem with a Multi-step Model

Kavosh Asadi, Dipendra Misra+2 more|arXiv (Cornell University)|May 30, 2019

Software Reliability and Analysis Research参考文献 64被引用数 27

ひとこと要約

本稿では、1ステップモデルに内在する誤差累積問題を回避するため、一連の行動を実行した結果を直接予測するマルチステップモデル（M³）を提案する。中間の誤った状態予測に依存しないことで、バックグラウンドおよび意思決定時計画の両方において、より正確な価値推定とより良い行動選択が可能になる。実験結果により、1ステップモデルを上回る優れた性能が示された。

ABSTRACT

Model-based reinforcement learning is an appealing framework for creating agents that learn, plan, and act in sequential environments. Model-based algorithms typically involve learning a transition model that takes a state and an action and outputs the next state---a one-step model. This model can be composed with itself to enable predicting multiple steps into the future, but one-step prediction errors can get magnified, leading to unacceptable inaccuracy. This compounding-error problem plagues planning and undermines model-based reinforcement learning. In this paper, we address the compounding-error problem by introducing a multi-step model that directly outputs the outcome of executing a sequence of actions. Novel theoretical and empirical results indicate that the multi-step model is more conducive to efficient value-function estimation, and it yields better action selection compared to the one-step model. These results make a strong case for using multi-step models in the context of model-based reinforcement learning.

研究の動機と目的

• 1ステップモデルの誤差が時間経過とともに累積するモデルベース強化学習における誤差累積問題に対処すること。
• 偽物や現実的でない中間状態の使用を避けることで、計画における価値関数推定と行動選択の精度を向上させること。
• 1ステップ遷移の合成ではなく、一連の行動の実行結果を直接予測するモデルを構築すること。
• バックグラウンド計画および意思決定時計画の両方において、従来の1ステップモデルを上回ることを実験的に示すこと。
• Rademacher複雑度を用いて、マルチステップアプローチの高いサンプル効率と一般化性能を理論的に正当化すること。

提案手法

• 状態と行動のシーケンスを、その全シーケンスを実行した後の結果状態に直接写像するマルチステップモデルM³を提案する。
• 潜在変数が中間ステップを表すように、状態-行動-次状態の三つ組のデータセットからEMアルゴリズムを用いてマルチステップモデルを学習する。
• 元の初期状態をロールアウトの全ステップの出発点として使用する、新しいロールアウト手順を適用し、偽の入力からの誤差伝搬を回避する。
• パラメータを最尤推定で学習するガウス分布を用いた確率的定式化により、遷移の尤度をモデル化する。
• 複数の異なるマルチステップパスの予測を平均化することで、耐性と精度を向上させるアンサンブル拡張を導入する。
• Rademacher複雑度を用いて、マルチステップモデルの学習の難易度を理論的に分析し、1ステップモデルを学習するのと比較して、より好都合であることを示す。

実験結果

リサーチクエスチョン

• RQ1 中間状態の予測が不適切である可能性がある場合に、マルチステップモデルが、モデルベース強化学習における誤差累積問題を回避することで、その問題を軽減できるか？
• RQ2 計画における価値関数推定と行動選択において、マルチステップモデルと1ステップモデルの性能はどのように異なるか？
• RQ3 Rademacher複雑度で測定した一般化性能とサンプル効率の観点から、マルチステップモデルを学習することの理論的利点は何か？
• RQ4 複数のマルチステップモデルのアンサンブルは、単一のマルチステップモデルと比較して、さらに高い予測精度と耐性を達成できるか？
• RQ5 提案されたM³フレームワークは、標準的な1ステップモデルベースラインと比較して、バックグラウンド計画および意思決定時計画の両方で優れた性能を示せるか？

主な発見

• ミニ・パックマングリッドワールド環境において、M³は1ステップモデルと比較して、特に長いホライズンにおいて顕著に低い予測誤差を示した。
• 行動選択のツリー探索において、EMで学習されたマルチステップモデルは、決定論的モデルおよび1ステップモデルを上回り、ゴールに到達する成功率が高かった。
• ミニ・パックマンドメインでは、M³が2ステップダイナミクスをほぼ完璧に学習しており、予測された状態分布が真の分布とよく一致していた。
• アクロボットドメインでは、複数のマルチステップパスのアンサンブル平均化により、8ステップ先の予測精度が向上し、単一のM³モデルおよび繰り返し適用された1ステップモデルを上回った。
• Rademacher複雑度を用いた理論的分析から、マルチステップモデルの学習は、1ステップモデルを学習するのと比較して、より複雑度が低く、一般化性能に優れていることが示された。
• アクロボットドメインでは、時間経過とともにモデルの性能が向上しており、経験した状態の多様性が増加していることから、安定した学習と適応が行われていることが示唆された。