[論文レビュー] Global Optimality Guarantees For Policy Gradient Methods

Jalaj Bhandari, Daniel Russo|arXiv (Cornell University)|Jun 5, 2019

Stochastic Gradient Optimization Techniques被引用数 23

ひとこと要約

本稿は、非凸な目的関数に対しても、局所最適でない停留点を有さないことを保証する構造的条件を特定することにより、方策勾配法のグローバル収束保証を確立する。Markov決定過程（MDP）におけるそのような構造的条件が、方策勾配目的関数が非凸であっても、局所最適でない停留点を有さないことを保証する。本稿では、これらの条件下で方策勾配法が最適解に収束し、Polyak–Łojasiewicz 条件を満たすことが示され、高速な収束レートが得られることを示している。

ABSTRACT

Policy gradients methods apply to complex, poorly understood, control problems by performing stochastic gradient descent over a parameterized class of polices. Unfortunately, even for simple control problems solvable by standard dynamic programming techniques, policy gradient algorithms face non-convex optimization problems and are widely understood to converge only to a stationary point. This work identifies structural properties -- shared by several classic control problems -- that ensure the policy gradient objective function has no suboptimal stationary points despite being non-convex. When these conditions are strengthened, this objective satisfies a Polyak-lojasiewicz (gradient dominance) condition that yields convergence rates. We also provide bounds on the optimality gap of any stationary point when some of these conditions are relaxed.

研究の動機と目的

• 非凸な目的関数において、方策勾配法が最適でない停留点に収束するという長年の問題を解決すること。
• 方策勾配目的関数における悪い局所最適解を排除するMDPの構造的特性を同定すること。
• 方策勾配法がグローバル収束を達成し、高速な収束レートを達成する条件を確立すること。
• 方策勾配最適化と方策反復の関係を結びつけ、その構造的利点を活用してより良い収束保証を得ること。
• 理想条件が緩和された場合の最適性ギャップの境界を提供し、実世界の応用における実用的知見を提示すること。

提案手法

• 方策勾配目的関数と方策反復を結びつける新しいフレームワークを導入し、単一期間問題における好ましい構造的性質がグローバル最適化の姿かたちに伝播することを示している。
• 方策クラスに「本質的ベルマン誤差」と呼ばれる条件を定義し、これにより方策勾配目的関数に局所最適でない停留点が存在しないことを保証する。
• 本質的ベルマン誤差がゼロである場合、目的関数がPolyak–Łojasiewicz（PL）条件を満たすことが示され、勾配降下法による線形収束レートが得られることを確立している。
• 状態集合の分割を事例として用い、十分に細かい分割と滑らかな動的特性のもとで、本質的ベルマン誤差を任意に小さくできることを示している。
• Lipschitz連続なコスト関数および遷移関数のもとで、方策近似誤差を定量化するための一様近似境界（補題15）を用いている。
• 方策クラスの豊かさと、異なる方策における方策改善条件を満たすためのトレードオフの関係を分析している。

実験結果

リサーチクエスチョン

• RQ1 MDPにどのような構造的条件が成立する場合、非凸であっても方策勾配目的関数に局所最適でない停留点が存在しないのか？
• RQ2 完全な方策クラスの豊かさよりも弱い条件下でも、方策勾配法が最適方策にグローバル収束することができるか？
• RQ3 最適化の姿かたちの性質に関して、方策反復と方策勾配法の関係は何か？
• RQ4 方策クラスにおける本質的ベルマン誤差は、方策勾配目的関数における悪い局所最適解の存在にどのように影響するか？
• RQ5 構造的MDP特性から導かれるPolyak–Łojasiewicz条件を目的関数が満たす場合、保証できる収束レートは何か？

主な発見

• 方策クラスが本質的ベルマン誤差がゼロであるという条件を満たす場合、方策勾配目的関数は局所最適でない停留点を有さない。
• 本質的ベルマン誤差がゼロである場合、目的関数はPolyak–Łojasiewicz（PL）条件を満たし、勾配降下法による線形収束レートが達成可能である。
• 十分に細かい分割とLipschitz連続な動的特性を持つ状態集合の集約方策では、本質的ベルマン誤差が、状態とその代表状態間の最大距離に比例する項で有界に抑えられる。
• 本質的ベルマン誤差の境界は、$ \epsilon = 2\sup_{s,a} \left[ |g(s,a) - g(\phi(s),a)| + \frac{\gamma}{1-\gamma}\|P(\cdot|s,a) - P(\cdot|\phi(s),a)\|_{\text{TV}} \right] $ で与えられ、分割が細かくなるに従いゼロに近づく。
• 理想条件が緩和された場合でも、本稿は任意の停留点の最適性ギャップに対する境界を提供し、実用的な性能保証を提示している。
• 本フレームワークは、線形二次制御や在庫管理などの特定問題における成功事例と、一般の非凸性の課題を統合し、悪い局所最適解を排除する共通の構造的性質を同定している。