[論文レビュー] Sharp Analysis of Stochastic Optimization under Global Kurdyka-Łojasiewicz Inequality

Ilyas Fatkhullin, Jalal Etesami+2 more|arXiv (Cornell University)|Oct 4, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿は、グローバルKurdyka-Łojasiewicz（KŁ）不等式の下での確率的最適化の鋭い複雑度解析を提供し、分散低減と再起動を組み合わせた変更版SGD（PAGER）を導入することで、$\alpha$-PŁ関数に対して最適なサンプル複雑度$\mathcal{O}(\epsilon^{-2/\alpha})$を達成した。$\alpha=1$の場合は強化学習に関連する状況で特に重要であり、この場合、$\alpha=1$に対して最初の最適アルゴリズムを確立した。

ABSTRACT

We study the complexity of finding the global solution to stochastic nonconvex optimization when the objective function satisfies global Kurdyka-Lojasiewicz (KL) inequality and the queries from stochastic gradient oracles satisfy mild expected smoothness assumption. We first introduce a general framework to analyze Stochastic Gradient Descent (SGD) and its associated nonlinear dynamics under the setting. As a byproduct of our analysis, we obtain a sample complexity of $\mathcal{O}(ε^{-(4-α)/α})$ for SGD when the objective satisfies the so called $α$-PL condition, where $α$ is the degree of gradient domination. Furthermore, we show that a modified SGD with variance reduction and restarting (PAGER) achieves an improved sample complexity of $\mathcal{O}(ε^{-2/α})$ when the objective satisfies the average smoothness assumption. This leads to the first optimal algorithm for the important case of $α=1$ which appears in applications such as policy optimization in reinforcement learning.

研究の動機と目的

• グローバルKurdyka-Łojasiewicz（KŁ）不等式の下での確率的最適化におけるサンプル複雑度解析のギャップを埋めること。
• SGDおよびその変種の性能を、$\alpha=2$に限定されないより広範な$\alpha$-PŁ条件の下で分析すること。
• 分散低減と再起動を統合した新しいアルゴリズムPAGERの開発および解析を行い、最適収束レートを達成すること。
• やや弱い期待平滑性仮定の下で、SGDおよびPAGERの理論的サンプル複雑度バウンドを確立すること。
• CartPoleやAcrobotなどの強化学習環境において、理論的結果を実証的に検証すること。

提案手法

• グローバルKŁ条件の下でのSGDおよびその非線形ダイナミクスを分析する一般化フレームワークを提案する。
• 関数値の進捗に基づく動的再起動と適応的分散低減を備えたSGDの変種であるPAGERアルゴリズムを導入する。
• 収束速度と分散低減のバランスを取るために、PAGERで時間依存のステップサイズおよびバッチサイズスケジュールを採用する。
• 最適解へのグローバル収束を特徴付けるために、$||\nabla f(x)|| \geq \sqrt{2\mu} (f(x) - f^*)^{1/\alpha}$を満たす$\alpha$-PŁ条件を用いる。
• 強化学習応用における分布シフトに対処するために、インポートランスウェイティングおよびトラジェクトリーベースの勾配推定器（例：GPOMDP）を適用する。
• リャプノフ解析およびダイナミクスの確率的微分方程式近似を用いて理論的サンプル複雑度バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 グローバル$\alpha$-PŁ条件の下で、非凸な確率的最適化におけるSGDの最適なサンプル複雑度は何か？
• RQ2 分散低減と再起動は、$\alpha$-PŁ条件の下でSGDの収束速度を向上させられるか？
• RQ3 $\alpha$-PŁ関数に対して最適な$\mathcal{O}(\epsilon^{-2/\alpha})$のサンプル複雑度を達成する確率的最適化アルゴリズムは存在するか？
• RQ4 PAGERの性能は、実際の強化学習タスク（特にCartPoleやAcrobot）において、SGDや非再起動型PAGEと比べてどのように異なるか？
• RQ5 適応的バッチサイズおよびステップサイズスケジューリングは、$\alpha$-PŁ条件の下で最適収束を達成するために果たす役割は何か？

主な発見

• やや弱い期待平滑性仮定の下で、SGDは$\alpha$-PŁ関数に対して$\mathcal{O}(\epsilon^{-(4-\alpha)/\alpha})$のサンプル複雑度を達成する。
• 分散低減と再起動を施したSGDの変種PAGERは、同じ仮定の下で改善された$\mathcal{O}(\epsilon^{-2/\alpha})$のサンプル複雑度を達成する。
• $\alpha = 1$の場合、PAGERは最適な$\mathcal{O}(\epsilon^{-2})$のサンプル複雑度を達成し、これは文献において初めての結果である。
• CartPoleおよびAcrobotにおける実験結果から、PAGERはSGDよりも3倍速く収束し、非再起動型PAGEを上回ることを確認した。これにより再起動の有効性が実証された。
• PAGERにおける分散低減と動的パrameter調整により、SGDやPAGEと比較して最適解付近での収束がより安定した。
• 理論的サンプル複雑度バウンドはシミュレーションによって検証され、理論的傾向と実験的性能トレンドが強く一致した。