[論文レビュー] When to Trust Your Model: Model-Based Policy Optimization

Michael Jänner, Justin Fu+2 more|arXiv (Cornell University)|Jun 19, 2019

Reinforcement Learning in Robotics参考文献 44被引用数 119

ひとこと要約

MBPO は real data からの短いモデルロールアウトを分岐させて学習を高速化する：モデルフリーの漸近的性能と一致しつつ、データ効率を改善し、長期展望のモデルの落とし穴を避ける。

ABSTRACT

Designing effective model-based reinforcement learning algorithms is difficult because the ease of data generation must be weighed against the bias of model-generated data. In this paper, we study the role of model usage in policy optimization both theoretically and empirically. We first formulate and analyze a model-based reinforcement learning algorithm with a guarantee of monotonic improvement at each step. In practice, this analysis is overly pessimistic and suggests that real off-policy data is always preferable to model-generated on-policy data, but we show that an empirical estimate of model generalization can be incorporated into such analysis to justify model usage. Motivated by this analysis, we then demonstrate that a simple procedure of using short model-generated rollouts branched from real data has the benefits of more complicated model-based algorithms without the usual pitfalls. In particular, this approach surpasses the sample efficiency of prior model-based methods, matches the asymptotic performance of the best model-free algorithms, and scales to horizons that cause other model-based methods to fail entirely.

研究の動機と目的

• 強化学習における方策最適化のための予測モデルの最善の活用方法を動機づけ、分析する。
• モデル誤差と分布シフトを考慮しつつ、モデルベースの更新における単調改善の保証を提供する。
• 短く分岐したモデルロールアウトを用いてデータ効率を改善する実践的で経験的に推進されたアプローチ（MBPO）を導入する。
• 慎重に制御されたモデルの使用が、従来のモデルベース手法を上回りつつ、強い漸近的性能を維持できることを示す。

提案手法

• 一般化と分布シフト誤差 psilon_m および psilon_pi に対する単調なモデルベースの方策改善フレームワークを定式化し、モデルリターンを用いた真のリターンの境界を導出する。
• データ収集ポリシー分布から開始し、学習済みモデルの下で k ステップ実行する分岐ロールアウトを導入し、誤差蓄積を制限する。
• MBPO を提案: 確率的ダイナミクスモデルのアンサンブルを訓練し、方策最適化には SAC を用い、リプレイバッファ状態から短いモデルロールアウトを生成する。
• 短く反復的なモデルロールアウトを用いてモデル生成データの大規模なボリュームを作成しつつ、モデルの過剰利用やホライゾン結合の問題を緩和する。
• 実践的には、モデルの一般化を経験的に測定し、モデルベース更新とモデルフリ更新のバランスを取るようロールアウトの使用法を適応させる。

実験結果

リサーチクエスチョン

• RQ1 モデル誤差と分布シフトを考慮した上で、モデルベースの更新が方策性能の単調な改善を保証するにはどうすればよいか？
• RQ2 モデルの過剰利用や誤差の累積を悪化させずに、短いモデルロールアウトが実用的な利益をもたらす条件はどのようなときか？
• RQ3 分岐した短期ホライズンのモデルロールアウトは、最高のモデルフリーの漸近性能を維持しつつ、より速い学習をもたらすか？
• RQ4 見たことのないポリシー分布へのモデル一般化は、モデルベースデータの有用性にどのように影響するか？
• RQ5 どの設計選択（モデルアンサンブル、ロールアウト長、最適化アルゴリズム）が、モデルベースの方策最適化におけるサンプル効率を最適化するか？

主な発見

• MBPO は従来のモデルベース手法よりはるかに速い学習を実現しつつ、主要なモデルフリーアルゴリズムの最終性能と同等に達する。
• 連続制御ベンチマークで、MBPO はデータとステップを一桁削減してモデルフリー性能に到達できる（例: Ant タスク: 300k ステップ vs SAC の 3M ステップ）。
• 短い（単一ステップでも）モデルロールアウトは大きな利点をもたらし、長いロールアウトは誤差蓄積のため悪影響になることがある。
• 分岐ロールアウト戦略（実データ分布から開始し、その後 k ステップをシミュレートする）は、連鎖誤差を緩和し、長期ホライズンへとスケールする。
• 確率的ダイナミクスモデルのアンサンブルは不確実性を捉え、モデルの過剰利用を減らす。
• 経験的測定は、データが増えるほどモデル一般化が向上することを示しており、実践でのモデル使用を正当化するより現実的な境界を可能にする。