[論文レビュー] An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods

Yanli Liu, Kaiqing Zhang+2 more|arXiv (Cornell University)|Nov 15, 2022

Stochastic Gradient Optimization Techniques参考文献 36被引用数 30

ひとこと要約

本論文は、方策勾配（PG）、自然方策勾配（NPG）およびそれらの分散削減バリアントのグローバル収束解析を見直し、機能近似誤差までのグローバル収束と改善されたサンプル複雑性を示し、新しい SRVR-NPG 法を含む。

ABSTRACT

In this paper, we revisit and improve the convergence of policy gradient (PG), natural PG (NPG) methods, and their variance-reduced variants, under general smooth policy parametrizations. More specifically, with the Fisher information matrix of the policy being positive definite: i) we show that a state-of-the-art variance-reduced PG method, which has only been shown to converge to stationary points, converges to the globally optimal value up to some inherent function approximation error due to policy parametrization; ii) we show that NPG enjoys a lower sample complexity; iii) we propose SRVR-NPG, which incorporates variance-reduction into the NPG update. Our improvements follow from an observation that the convergence of (variance-reduced) PG and NPG methods can improve each other: the stationary convergence analysis of PG can be applied to NPG as well, and the global convergence analysis of NPG can help to establish the global convergence of (variance-reduced) PG methods. Our analysis carefully integrates the advantages of these two lines of works. Thanks to this improvement, we have also made variance-reduction for NPG possible, with both global convergence and an efficient finite-sample complexity.

研究の動機と目的

• 一般的な滑らかな方策パラメータ化の下で、PGとNPGのグローバル収束保証を動機づけ、確立する。
• NPGおよびVR-PG法に対する既存のグローバル収束速度を、以前の研究から改善する。
• 自然方策勾配に分散削減を組み込む SRVR-NPG を導入する。
• SRVR-PGとSRVR-NPGの有限サンプル保証によるグローバル収束を示す。
• 実践的な強化学習設定におけるサンプル複雑性と機能近似バイアスに関する理論的指針を提供する。

提案手法

• 定常収束と更新方向の精度をグローバルな方策性能へ結びつける一般的な収束フレームワークを開発する。
• フィッシャー情報行列の正定性を仮定し、前条件付き更新を可能にし、既存のNPG理論と関連づける。
• PGとNPGに分散削減を適用し、SRVR-PGとSRVR-NPGを生み出し、それらのグローバル収束の解析を行う。
• 標準的なRL仮定の下で、PG、NPG、SRVR-PG、SRVR-NPGの非漸近的なサンプル複雑性結果を導出する。
• 有限サンプル解析を可能にするために、切り詰められた GPOMDP推定量と重要度重み付け補正を組み込む。

実験結果

リサーチクエスチョン

• RQ1 分散削減されたPG手法（SRVR-PG）は、機能近似誤差の下で近似最適ポリシーへグローバル収束を達成できるか？
• RQ2 分散削減（SRVR-NPG）と組み合わせた自然方策勾配（NPG）は、改善されたグローバル収束速度とサンプル複雑性を得られるか？
• RQ3 フィッシャー情報行列の正定性は、PG/NPG法の収束とサンプル複雑性にどのような影響を与えるか？
• RQ4 最適解のバias項以内のポリシー性能を保証するための有限サンプル要件（軌跡、ホライズン、反復回数）は何か？

主な発見

• SRVR-PGは機能近似誤差までグローバル収束し、サンプル複雑度は O(epsilon^{-3})。
• 提案フレームワークの下で、NPGは O(epsilon^{-3}) あるいはそれより良いサンプル複雑性でグローバル収束を改善し、従来の O(epsilon^{-4}) 結果を上回る。
• SRVR-NPGはNPGへ分散削減を拡張し、改善されたNPG結果に匹敵する有限サンプル保証を伴うグローバル収束を達成する。
• フィッシャー情報行列の正定性を仮定すると、定常収束とグローバル収束の解析が相互に情報を提供できることが、PGとNPGの両方に対して示される。
• 本論文は、分散削減をNPGに組み込むことができることを証明し、実用的なサンプル複雑性で効率的なグローバル収束を可能にする。
• CartpoleとMountain Carを用いた数値実験は、SRVR-NPGが tested methods の中で最良の実証的性能を示すことを示している。