[論文レビュー] Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning

Zifan Wu, Chao Yu+3 more|arXiv (Cornell University)|Jan 20, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、モデルロールアウトを逐次的意思決定問題として扱うことで、現在の方策のもとで不確実性を事前に予測できる、新しいモデルベース強化学習フレームワーク、Plan To Predict (P2P) を提案する。P2P は、方策が誘導する状態分布上での多段階予測誤差を最小化することで、サンプル効率と方策安定性を向上させ、困難な MBRL ベンチマークで最先端の性能を達成する。

ABSTRACT

In Model-based Reinforcement Learning (MBRL), model learning is critical since an inaccurate model can bias policy learning via generating misleading samples. However, learning an accurate model can be difficult since the policy is continually updated and the induced distribution over visited states used for model learning shifts accordingly. Prior methods alleviate this issue by quantifying the uncertainty of model-generated samples. However, these methods only quantify the uncertainty passively after the samples were generated, rather than foreseeing the uncertainty before model trajectories fall into those highly uncertain regions. The resulting low-quality samples can induce unstable learning targets and hinder the optimization of the policy. Moreover, while being learned to minimize one-step prediction errors, the model is generally used to predict for multiple steps, leading to a mismatch between the objectives of model learning and model usage. To this end, we propose \emph{Plan To Predict} (P2P), an MBRL framework that treats the model rollout process as a sequential decision making problem by reversely considering the model as a decision maker and the current policy as the dynamics. In this way, the model can quickly adapt to the current policy and foresee the multi-step future uncertainty when generating trajectories. Theoretically, we show that the performance of P2P can be guaranteed by approximately optimizing a lower bound of the true environment return. Empirical results demonstrate that P2P achieves state-of-the-art performance on several challenging benchmark tasks.

研究の動機と目的

• 方策の更新に伴う分布シフトによって引き起こされるモデルバイアス問題に対処すること。
• MBRLにおける1ステップのモデル学習と多段階のモデル利用の間の目的不一致を解消すること。
• 軌道生成中に将来の不確実性を事前に予測することで、高不確実性領域を能動的に回避できるようにすること。
• 現在の方策が誘導する状態分布に合わせてモデル学習を調整することで、サンプル効率と学習安定性を向上させること。
• 提案された多段階損失関数に対して理論的裏付けを提供し、困難なベンチマークで実証的に優位性を示すこと。

提案手法

• モデルロールアウトを、モデルが意思決定者として、方策が環境ダイナミクスとして機能するように、役割を入れ替えることで、逐次的意思決定問題として再定式化する。
• 現在の方策のもとで生成された軌道上の累積予測誤差を最小化するように、モデルを強化学習で訓練する。
• 方策が誘導する状態分布を用いてモデル学習をガイドすることで、方策の変化に迅速に適応できるようにする。
• 将来の状態における期待誤差を最小化することで真の環境リターンを近似する多段階損失関数を導入する。
• 計画プロセス内での不確実性評価を活用し、モデルが誤りを起こしやすい領域を避ける。
• 低不確実性・高リターンの軌道を優先する方策に依存するロールアウト戦略をモデルが学習する。

実験結果

リサーチクエスチョン

• RQ1 サンプリング後に受動的に反応するのではなく、軌道生成の前に将来の状態における不確実性を予測できるようにモデルを訓練できるか？
• RQ2 モデル学習の目的を、多段階ロールアウトでの実際の利用状況にどのように一致させられるか？
• RQ3 モデルロールアウトを逐次的意思決定問題として扱うことで、MBRLにおけるサンプル効率と方策パフォーマンスが向上するか？
• RQ4 現在の方策のもとで能動的に計画することで、累積予測誤差が低減し、方策最適化がより安定するか？
• RQ5 提案されたフレームワークは、困難な高次元制御タスクおよびオフラインRL設定に一般化可能か？

主な発見

• P2P は、複数の挑戦的な D4RL ベンチマークタスクで最先端の性能を達成し、サンプル効率と最終リターンの両面で先行する MBRL 手法を上回る。
• P2P のモデルは、現在の方策のもとで計画することで、高不確実性領域を能動的に回避し、低品質・高誤差の軌道を生成するリスクを低減する。
• 実験的結果から、P2P はベースライン手法と比較して、方策が誘導する軌道上での多段階予測誤差を顕著に低減していることが示された。
• 理論的分析により、P2P が真の環境リターンの下界を近似的に最適化していることが確認され、設計の妥当性が裏付けられた。
• 予備のオフラインRL実験においても、P2P は有望な性能を示しており、より広範な応用可能性が示唆された。
• P2P は、多段階計画における実際の方策使用状況に合わせたモデル学習目的を採用することで、モデルバイアス問題を効果的に緩和した。