[論文レビュー] Bidirectional Model-based Policy Optimization

Hang Lai, Jian Shen+2 more|arXiv (Cornell University)|Jul 4, 2020

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本論文は、前向きおよび後向きのダイナミクスモデルを併用して双方向のロールアウトを生成することにより、サンプル効率と漸近的性能を向上させる、新しいモデルベース強化学習手法であるBidirectional Model-based Policy Optimization (BMPO)を提案する。対称的な誤差伝播によりモデル誤差の累積を軽減することで、報酬差違の理論的バインディングをより厳密に抑え、連続制御ベンチマークにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

Model-based reinforcement learning approaches leverage a forward dynamics model to support planning and decision making, which, however, may fail catastrophically if the model is inaccurate. Although there are several existing methods dedicated to combating the model error, the potential of the single forward model is still limited. In this paper, we propose to additionally construct a backward dynamics model to reduce the reliance on accuracy in forward model predictions. We develop a novel method, called Bidirectional Model-based Policy Optimization (BMPO) to utilize both the forward model and backward model to generate short branched rollouts for policy optimization. Furthermore, we theoretically derive a tighter bound of return discrepancy, which shows the superiority of BMPO against the one using merely the forward model. Extensive experiments demonstrate that BMPO outperforms state-of-the-art model-based methods in terms of sample efficiency and asymptotic performance.

研究の動機と目的

• 不正確な前向きダイナミクスモデルに起因するモデルベース強化学習における誤差の累積問題に対処すること。
• 逆方向の軌道生成を可能にする後向きダイナミクスモデルを導入することで、前向きモデルの正確性に依存する度合いを低減すること。
• 双方向ロールアウトを用いることで、連続制御タスクにおけるサンプル効率と漸近的性能を向上させること。
• 単方向モデルベース手法と比較して、報酬差違の理論的バインディングをより厳密に確立すること。
• 既存の最先端のモデルベース強化学習アプローチと比較して、双方向モデリングの優位性を実験的に検証すること。

提案手法

• 遭遇した状態から時間軸の両方向に、前向きおよび後向きのダイナミクスモデルを用いた双方向ロールアウト戦略を提案し、軌道を生成する。
• 現在の状態と行動から直前の状態を予測する後向きダイナミクスモデルを導入し、逆方向のロールアウトを可能にする。
• 双方向ロールアウトの対象とする高価値状態を優先的に選択する状態サンプリング戦略を採用し、ポリシー最適化を改善する。
• 環境との相互作用中に行動選択を精緻化するために、モデル予測制御（MPC）を導入する。
• 後向きポリシーの学習には最尤推定（MLE）を用い、アブレーションスタディによりGANベースの学習はより不安定であることが示された。
• 単方向手法よりもタイトな報酬差違バインディングを理論的に導出することで、双方向モデリングの優位性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習において、前向きロールアウトに比べて双方向ロールアウトが誤差の累積を軽減できるか？
• RQ2 後向きダイナミクスモデルの使用が、連続制御タスクにおけるサンプル効率と漸近的性能を向上させるか？
• RQ3 BMPOの理論的報酬差違バインディングは、MBPOや他の前向きのみの手法と比較してどのように異なるか？
• RQ4 後向きポリシー損失関数、MPCの使用、ロールアウト長さといった設計選択が、BMPOの性能に与える影響は何か？
• RQ5 価値ベースのサンプリング重みβや後向きロールアウト長さk₁といったハイパーパrameterに対して、BMPOはどれほど感度を示すか？

主な発見

• BMPOは、連続制御ベンチマークにおいて、MBPOを含む最先端のモデルベース手法と比較して、より高いサンプル効率と優れた漸近的性能を達成する。
• 双方向ロールアウト戦略により、誤差の累積が顕著に軽減される。図4bに示すように、誤差の増加が前向きのみのロールアウトよりも遅やかである。
• アブレーションスタディにより、前向きまたは後向きモデルのみを用いる場合、両方を用いる場合に比べて性能が劣ることが確認され、MPCを削除しても性能低下はわずかである。
• 後向きロールアウト長さk₁を前向きロールアウト長さk₂と同等に設定すると最適な性能が得られ、両者の差が生じると性能が低下する。
• ハイパーパrameterβに対してBMPOは頑健であり、ある閾値まで性能が向上するが、非常に高い値では劣化が生じる。
• 理論的分析により、BMPOは単方向手法よりもタイトな報酬差違バインディングを持つことが確認され、理論的優位性が裏付けられた。