[論文レビュー] Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion

Jacob Buckman, Danijar Hafner+3 more|arXiv (Cornell University)|Jul 4, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 97

ひとこと要約

STEVE はモデルベースのロールアウトとモデルフリ TD 学習を、アンサンブルを用いて不確実性を推定しロールアウトのホライズンを適応させることで組み合わせ、モデルバイアスの劣化なしに高いサンプル効率を達成します。

ABSTRACT

Integrating model-free and model-based approaches in reinforcement learning has the potential to achieve the high performance of model-free algorithms with low sample complexity. However, this is difficult because an imperfect dynamics model can degrade the performance of the learning algorithm, and in sufficiently complex environments, the dynamics model will almost always be imperfect. As a result, a key challenge is to combine model-based approaches with model-free learning in such a way that errors in the model do not degrade performance. We propose stochastic ensemble value expansion (STEVE), a novel model-based technique that addresses this issue. By dynamically interpolating between model rollouts of various horizon lengths for each individual example, STEVE ensures that the model is only utilized when doing so does not introduce significant errors. Our approach outperforms model-free baselines on challenging continuous control benchmarks with an order-of-magnitude increase in sample efficiency, and in contrast to previous model-based approaches, performance does not degrade in complex environments.

研究の動機と目的

• 統合されたモデルベースおよびモデルフリーアプローチによって強化学習のサンプル複雑さを低減する動機付け。
• 不完全なダイナミクスを用いるときのモデルバイアス問題に対処し、ロールアウトを適応的に活用する。
• 例ごとにロールアウトのホライズンを不確実性を意識した方法で選択し、目標誤差を最小化する。

提案手法

• 不確実性を推定するためのQ関数、報酬モデル、ダイナミクスモデルのアンサンブルを使用する。
• 学習済みモデルを複数のホライズンで展開し、複数の候補TDターゲットを計算する。
• 0からHまでのホライズンに渡る候補ターゲットの逆分散加重のブレンドとしてSTEVEターゲットを計算する。
• TD学習のTDターゲットをトレーニング中のQ関数にSTEVEターゲットへ置換する。
• バイアス-分散分解とターゲット分散の近似最小化を通じた理論的正当化を提供する。
• DDPGバックボーンを用いた連続制御ベンチマークでパフォーマンスを示し比較する。

実験結果

リサーチクエスチョン

• RQ1 確率的アンサンブルと不確実性ガイド付きホライズン選択は、モデルベースの値展開の安定性と効率を改善できるか。
• RQ2 STEVEは、モデル不正確性下での難しい連続制御タスクにおいて、純粋なモデルフリー法および標準のMVEを上回るか。
• RQ3 ダイナミックなホライズン重み付けは、サンプル効率とモデル誤差に対する頑健性にどのように影響するか。

主な発見

• STEVE は難易度の高い連続制御タスクでモデルフリーベースラインよりサンプル効率を著しく向上させる。
• STEVE はモデルの不完全性に対して頑健であり、ノイズのあるモデルでは普通のMVE のように発散しない。
• 逆分散重み付けによるターゲットの平均化は、不確実性推定を活用してターゲット誤差を低減する。
• アブレーション解析は、モデル拡張アンサンブルだけでなく不確実性を考慮した再重み付けが性能向上を生むことを示す。
• ウォールクロック実験は、サンプル効率の向上のため並列化時にSTEVEがモデルフリー法と競合することを示す。