[論文レビュー] On the Global Convergence Rates of Softmax Policy Gradient Methods

Jincheng Mei, Chenjun Xiao+2 more|arXiv (Cornell University)|May 13, 2020

Stochastic Gradient Optimization Techniques被引用数 60

ひとこと要約

本稿は、表形式設定におけるソフトマックス方策勾配法のグローバル収束速度を確立し、真の勾配を用いた場合に$O(1/t)$の収束速度を示し、エントロピー正則化下ではより速い$O(e^{-c t})$の収束速度を達成することを示している。本研究は、改善された収束を非一様Łojasiewicz次数と関連付けることで、未解決の問題を解決し、エントロピー正則化の経験的成功に対する理論的裏付けを提供する。

ABSTRACT

We make three contributions toward better understanding policy gradient methods in the tabular setting. First, we show that with the true gradient, policy gradient with a softmax parametrization converges at a $O(1/t)$ rate, with constants depending on the problem and initialization. This result significantly expands the recent asymptotic convergence results. The analysis relies on two findings: that the softmax policy gradient satisfies a \L{}ojasiewicz inequality, and the minimum probability of an optimal action during optimization can be bounded in terms of its initial value. Second, we analyze entropy regularized policy gradient and show that it enjoys a significantly faster linear convergence rate $O(e^{-c \cdot t})$ toward softmax optimal policy $(c > 0)$. This result resolves an open question in the recent literature. Finally, combining the above two results and additional new $\Omega(1/t)$ lower bound results, we explain how entropy regularization improves policy optimization, even with the true gradient, from the perspective of convergence rate. The separation of rates is further explained using the notion of non-uniform \L{}ojasiewicz degree. These results provide a theoretical understanding of the impact of entropy and corroborate existing empirical studies.

研究の動機と目的

• 表形式設定におけるソフトマックス方策勾配法のグローバル収束挙動を理解すること。
• エントロピー正則化が方策勾配法における収束速度を向上させるかどうかという未解決の問題を解明すること。
• Łojasiewicz不等式と非一様Łojasiewicz次数を用いて、エントロピー正則化が収束速度に与える理論的影響を説明すること。
• 収束速度の比較のために、$\Omega(1/t)$のタイトな下界を確立すること。

提案手法

• 真の勾配を用いたソフトマックス方策勾配の分析を通じて、Łojasiewicz不等式を用いて$O(1/t)$のグローバル収束を確立する。
• 方策勾配目的関数にエントロピー正則化を導入し、収束を加速する。
• エントロピー正則化された方策勾配に対して、$c > 0$の下で線形収束速度$O(e^{-c t})$を証明する。
• 最適行動の最小確率が最適化過程で初期値の関数として下限で抑えられることを示す。
• 非一様Łojasiewicz次数の概念を用いて、正則化ありとなしの方法における収束速度の差を説明する。
• $O(1/t)$収束速度のタイトさを示すために、$\Omega(1/t)$の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 表形式設定における真の勾配を用いたソフトマックス方策勾配のグローバル収束速度は何か？
• RQ2 エントロピー正則化は方策勾配法における収束速度を速くするか？
• RQ3 非一様Łojasiewicz次数は、正則化ありとなしの方策勾配の性能差をどのように説明できるか？
• RQ4 ソフトマックス方策勾配の収束速度に対してタイトな下界を確立できるか？
• RQ5 エントロピー正則化が方策最適化における収束をどのように改善する理論的メカニズムがあるか？

主な発見

• 真の勾配を用いたソフトマックス方策勾配は、問題および初期化に依存する定数を含み、グローバルに$O(1/t)$の速度で収束する。
• エントロピー正則化された方策勾配は、$c > 0$の下で、ソフトマックス最適方策に向けて線形収束速度$O(e^{-c t})$を達成する。
• エントロピー正則化による収束速度の向上は、問題の内在的幾何を捉える非一様Łojasiewicz次数によって説明できる。
• $\Omega(1/t)$の下界が確立され、非正則化方策勾配の$O(1/t)$収束速度がタイトであることが確認された。
• 結果は、方策最適化におけるエントロピー正則化の経験的成功に対する理論的基盤を提供する。
• 分析により、最適行動の最小確率が最適化過程で初期値の関数として下限で抑えられることを明らかにした。これにより、収束速度の分析が可能になった。