[論文レビュー] Self-Correcting Models for Model-Based Reinforcement Learning

Erik Talvitie|arXiv (Cornell University)|Dec 19, 2016

Reinforcement Learning in Robotics被引用数 22

ひとこと要約

本論文は、ロールアウト中に誤りを自己修正できるようにモデルを訓練することによって、計画のロバスト性を向上させる理論的裏付けのあるモデルベース強化学習（MBRL）のアプローチを提案する。Hallucinated DAgger with Model Correction（H-DAgger-MC）を提案し、マルチステップ予測の正確性を向上させるとともに、モデルクラスに制限がある場合でも性能保証を提供する。これは、標準的な1ステップ予測誤差最小化よりも優れている。

ABSTRACT

When an agent cannot represent a perfectly accurate model of its environment's dynamics, model-based reinforcement learning (MBRL) can fail catastrophically. Planning involves composing the predictions of the model; when flawed predictions are composed, even minor errors can compound and render the model useless for planning. Hallucinated Replay (Talvitie 2014) trains the model to "correct" itself when it produces errors, substantially improving MBRL with flawed models. This paper theoretically analyzes this approach, illuminates settings in which it is likely to be effective or ineffective, and presents a novel error bound, showing that a model's ability to self-correct is more tightly related to MBRL performance than one-step prediction error. These results inspire an MBRL algorithm for deterministic MDPs with performance guarantees that are robust to model class limitations.

研究の動機と目的

• モデルの表現能力に制限がある場合に、モデルベース強化学習（MBRL）が失敗する理由を解消すること。
• 特にモデルの合成において、標準的な1ステップ予測誤差がMBRL性能の優れた代理指標でない理由を特定すること。
• ロールアウト中に自己修正を行うことで、マルチステップ計画の正確性を向上させる理論的裏付けのある手法を開発すること。
• 幻覚的トレーニングが有効または無効となる条件を分析し、トレーニングにおける安定性の問題を同定すること。
• モデルクラスの制限に強く、性能保証が得られる新しいMBRLアルゴリズムを導出すること。

提案手法

• 自己生成された誤ったロールアウト（モデル自身が出力する誤った状態系列）に対しても、正しい環境状態を予測できるようにモデルを訓練するためのメタアルゴリズムとして、Hallucinated Replayを導入する。
• H-DAgger-MCを提案する。これはDAggerの変種であり、幻覚的ロールアウトを用いてモデルの自己修正能力を学習させ、長期予測の正確性を向上させる。
• 自己修正能力が1ステップ誤差よりもMBRL性能と強く関連していることを示す、新しい誤差バインディングを導出する。
• 各時刻ごとに別々のモデル（アンロールドモデル）を用いることで、トレーニング分布とモデルパラメータを分離し、性能を低下させるフィードバックループを回避する。
• 幻覚的トレーニングが性能向上に寄与する理論的条件を分析し、標準トレーニングよりもタイトなバインディングが得られる状況を同定する。
• 幻覚的トレーニングの安定性を実験的に評価し、単一モデル設定では深めのロールアウトによる誤差伝搬が性能劣化を引き起こすことが判明した。

実験結果

リサーチクエスチョン

• RQ1 モデルのロールアウトにおける自己修正が、1ステップ予測誤差を最小化する手法よりも、MBRL性能を向上させる条件は何か？
• RQ2 なぜ幻覚的トレーニングは特定の状況では失敗するのか？また、それが成功するためにはどのような構造的仮定が必要か？
• RQ3 自己修正トレーニングによって、モデルクラスの制限を克服できるか？また、どのような理論的保証を提供できるか？
• RQ4 アンロールドモデルと共有モデルの選択が、幻覚的トレーニングにおけるトレーニングの安定性と性能に与える影響は何か？
• RQ5 幻覚的トレーニングにおけるフィードバックループの実用的影響は何か？また、それらはどのように緩和できるか？

主な発見

• 新しい理論的誤差バインディングにより、自己修正能力が1ステップ誤差よりもMBRL性能と強く関連していることが示された。
• H-DAgger-MCは、真のダイナミクスを正確に表現できないモデルクラスであっても、決定的MDPにおいて性能保証を達成する。
• 実験では、アンロールドモデルを用いたH-DAgger-MCは、単一モデル設定で見られる性能劣化（深いロールアウトによる誤差フィードバックループ）を回避した。
• 単一モデル設定では、短いトレーニングロールアウトが性能向上に寄与することが示され、切断処理が実用的な代替策である可能性があるが、理論的保証は伴わない。
• 単一モデルを複数時刻にわたって使用する場合、モデル更新が予測誤差とトレーニング分布の間のフィードバックを強化するため、幻覚的トレーニングは学習を不安定化させる可能性がある。
• モデルクラスの制限がある場合でも、モデルとプランナの両方における表現的欠陥に強く、効果を発揮することが示された。