[論文レビュー] On the Convergence Rates of Policy Gradient Methods

Lin Xiao|arXiv (Cornell University)|Jan 19, 2022

Markov Chains and Monte Carlo Methods被引用数 13

ひとこと要約

本稿は、有限時 horizon の割引付きマルコフ決定過程における方策勾配法の鋭い収束速度を確立する。弱い勾配マッピング優位性を導入し、射影方策勾配法のサブ線形収束速度を証明するとともに、幾何級数的に増加するステップサイズを用いることで、エントロピー正則化に依存せずに、自然方策勾配や射影Q降下を含む広範な方策ミラー降下法のクラスが線形収束を達成することを示す。

ABSTRACT

We consider infinite-horizon discounted Markov decision problems with finite state and action spaces and study the convergence rates of the projected policy gradient method and a general class of policy mirror descent methods, all with direct parametrization in the policy space. First, we develop a theory of weak gradient-mapping dominance and use it to prove sharper sublinear convergence rate of the projected policy gradient method. Then we show that with geometrically increasing step sizes, a general class of policy mirror descent methods, including the natural policy gradient method and a projected Q-descent method, all enjoy a linear rate of convergence without relying on entropy or other strongly convex regularization. Finally, we also analyze the convergence rate of an inexact policy mirror descent method and estimate its sample complexity under a simple generative model.

研究の動機と目的

• 有限時 horizon の割引付きMDPにおける射影方策勾配法および方策ミラー降下法の収束速度を分析すること。
• よりタイトなサブ線形収束バウンドを導出するための新しい弱い勾配マッピング優位性条件を確立すること。
• エントロピー正則化に依存せずに、幾何級数的に増加するステップサイズの下で、一般化された方策ミラー降下法のクラスが線形収束することを証明すること。
• 生成モデル下での不正確な方策ミラー降下法のサンプル複雑度を分析すること。
• 勾配マッピングおよびミラー降下などの最適化理論的ツールを用いて、方策勾配法の収束解析を統一的かつ一般化すること。

提案手法

• 射影方策勾配法の収束を分析するための弱い勾配マッピング優位性条件を導入する。
• 価値関数の連鎖則に基づく方策勾配の公式を用い、(I - γP(π))の逆行列を含む表現で∇V(π)を記述する。
• 距離関数 D_k(π, π^{(k)}) を用いたミラー降下フレームワークを適用し、これは現在の方策に依存する可能性があり、射影勾配法や自然方策勾配法を一般化する。
• 幾何級数的に増加するステップサイズを用いて、一般化された方策ミラー降下法のクラスにおける線形収束を達成する。
• 単純な生成モデル下で不正確な方策ミラー降下法を分析し、勾配誤差のバウンドを用いてサンプル複雑度を推定する。
• 提案された勾配マッピング優位性を、既存の条件（KŁおよびproximal PŁ）と結びつける。

実験結果

リサーチクエスチョン

• RQ1 弱い勾配マッピング優位性の下で、射影方策勾配法の収束速度は何か？
• RQ2 エントロピー正則化やその他の強い凸正則化に依存せずに、方策ミラー降下法が線形収束を達成できるか？
• RQ3 幾何級数的に増加するステップサイズは、方策ミラー降下法の収束にどのように影響するか？
• RQ4 生成モデル下での不正確な方策ミラー降下法のサンプル複雑度は何か？
• RQ5 提案された勾配マッピング優位性条件は、古典的な最適化条件（KŁおよびPŁ）とどのように関係しているか？

主な発見

• 弱い勾配マッピング優位性条件の下で、射影方策勾配法はより鋭いサブ線形収束速度を達成する。
• 幾何級数的に増加するステップサイズを用いることで、自然方策勾配や射影Q降下を含む一般化された方策ミラー降下法のクラスが、グローバル最適解へ線形収束する。
• エントロピー正則化や強い凸性を仮定せず、勾配マッピング優位性条件のみに依存して線形収束が確立される。
• 生成モデル下での不正確な方策ミラー降下法は、勾配誤差が集中不等式で制御されるため、サンプル複雑度がO(1/ε²)である。
• 提案された弱い勾配マッピング優位性条件は、proximal Polyak-Łojasiewicz（PŁ）条件と密接に関連しており、定数の違いを除いて潜在的に同等である可能性が示唆される。
• 分析により、勾配マッピング優位性条件が古典的な最適化条件と方策勾配収束の間のギャップを埋めることが明らかになり、包括的なフレームワークを提供する。