[論文レビュー] Dual Policy Iteration

Wen Sun, Geoffrey J. Gordon+2 more|arXiv (Cornell University)|May 28, 2018

Reinforcement Learning in Robotics被引用数 25

ひとこと要約

本稿では、反応的方策（例：深層ニューラルネットワーク）を、非反応的でモデルに基づく専門家方策（例：局所最適制御を介して）の模倣によって交互に最適化する、新たな近似方策反復フレームワークであるデュアル方策反復（DPI）を提案する。本手法は、局所的ダイナミクスモデルと体系的なモデルベース探索を活用することで、標準のポリシー勾配法およびアクタ・クリティックベースラインと比較して著しく高いサンプル効率を達成し、理論的収束保証と連続制御タスクにおける実証的検証を備えている。

ABSTRACT

Recently, a novel class of Approximate Policy Iteration (API) algorithms have demonstrated impressive practical performance (e.g., ExIt from [2], AlphaGo-Zero from [27]). This new family of algorithms maintains, and alternately optimizes, two policies: a fast, reactive policy (e.g., a deep neural network) deployed at test time, and a slow, non-reactive policy (e.g., Tree Search), that can plan multiple steps ahead. The reactive policy is updated under supervision from the non-reactive policy, while the non-reactive policy is improved with guidance from the reactive policy. In this work we study this Dual Policy Iteration (DPI) strategy in an alternating optimization framework and provide a convergence analysis that extends existing API theory. We also develop a special instance of this framework which reduces the update of non-reactive policies to model-based optimal control using learned local models, and provides a theoretically sound way of unifying model-free and model-based RL approaches with unknown dynamics. We demonstrate the efficacy of our approach on various continuous control Markov Decision Processes.

研究の動機と目的

• 反応的方策と非反応的方策の最適化を交互に実行することにより、モデルフリーとモデルベース強化学習を統合する一般化されたフレームワーク「デュアル方策反復（DPI）」の構築を目的とする。
• 既存のAPI理論を拡張する収束解析を提供し、モデルベース探索に成功した場合に、保守的方策反復（CPI）よりも大きな1反復あたりの政策改善が得られることを示す。
• 局所的モデル学習、局所最適制御、模倣学習を統合することで、未知のダイナミクスを持つ強化学習におけるサンプル効率の高い学習を可能にする。
• 複数の環境において、連続制御とロバストな方策最適化の両面でDPIの有効性を実証すること。
• 局所的モデル予測誤差が政策改善に与える影響を分析し、現在の政策の状態・行動分布下で局所的に正確なダイナミクスが、効果的な政策更新に十分であることを示すこと。

提案手法

• フレームワークは、局所的モデルベース最適制御（MBOC）による非反応的方策の計算と、MBOC方策の模倣による反応的方策の更新を交互に実行する。
• 現在の反応的方策に従って得られたロールアウトから局所的ダイナミクスモデルを学習し、MBOCが局所的に最適な方策を導出できるようにする。
• MBOC方策の下での期待アドバンテージを最大化する目的関数に対して自然勾配降下法を用いて反応的方策を更新し、模倣を促進する。
• 2段階のループを用いる：(1) 局所的モデルを適合させ、MBOC方策を計算する。 (2) MBOC方策の行動価値関数を用いて、反応的方策を模倣により更新する。
• ロバストな方策最適化のため、複数の訓練環境で計算されたMBOC方策を同時に模倣するように、反応的方策を共同最適化する。
• 理論的解析により、MBOCが成功した場合にDPIの1反復あたりの政策改善がCPIを上回ることを示し、改善量はホライズンに二次的に比例することが分かっている。

実験結果

リサーチクエスチョン

• RQ1 モデルベース探索と方策模倣を交互に実行するデュアル方策反復フレームワークは、標準のAPI手法と比較して、1反復あたりの政策改善をより大きく達成できるか？
• RQ2 局所的に学習されたダイナミクスモデルの予測誤差は、DPIフレームワークにおける政策改善にどのように影響を与えるか？
• RQ3 局所的モデルベース探索と模倣学習を統合することで、未知のダイナミクスを持つ強化学習において、より高いサンプル効率が達成できるか？
• RQ4 DPIフレームワークは、複数の環境にわたって一般化できる1つの方策を学習するロバストな方策最適化に拡張可能か？
• RQ5 局所的モデルの精度が保たれる条件下で、DPIフレームワークの収束性と改善性に関する理論的保証をどのように得られるか？

主な発見

• 提案されたDPIアルゴリズムは、TRPO-GAEや保守的方策反復（CPI）と比較して、より速い収束と優れたサンプル効率を達成し、連続制御タスクで高い性能に到達するためのエピソード数を大幅に削減している。
• ロバストな方策最適化において、非ロバストなバージョン（1つの環境でのみ訓練）は過学習を起こし一般化に失敗するが、DPIを用いたロバストな手法は、3つの未知のテスト環境においても良好に一般化している。
• 本手法は、現在の政策の状態・行動分布下で局所的に正確なダイナミクスが、不完全なグローバルモデルであっても、意味のある政策改善を可能にすることを示している。
• MBOCが成功した場合、DPIにおける1反復あたりの政策改善はCPIを上回る。これは、局所的勾配更新ではなく、構造的でマルチステップ先読みを利用しているためである。
• 本手法は、特に報酬がスパarsityな環境や高次元の行動空間を有する環境において、モデルベース探索による体系的探索のおかげで、顕著なサンプル効率の向上を示している。
• 実証的結果は、MBOCと模倣学習を統合することで、ランダム探索や標準のポリシー勾配法と比較して、より安定的かつ効果的な政策更新が得られることを確認している。