[論文レビュー] Convergence of adaptive algorithms for weakly convex constrained optimization

Ahmet Alacaoglu, Yura Malitsky+1 more|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用数 4

ひとこと要約

本稿は、弱凸制約付き確率的最適化におけるAMSGradの適応的アルゴリズムの収束を確立し、Moreau包絡関数の勾配ノルムに対して $Ó(\log T / \sqrt{T})$ のレートを達成する。これは既知の非制約的レートと一致する。解析はミニバッチサイズ1、定数のモーメントパラメータ $\beta_1, \beta_2$、非有界ドメインを許容しており、適応的アルゴリズムを制約付きおよび非滑らか設定に拡張する。

ABSTRACT

We analyze the adaptive first order algorithm AMSGrad, for solving a constrained stochastic optimization problem with a weakly convex objective. We prove the $\mathcal{ ilde O}(t^{-1/4})$ rate of convergence for the norm of the gradient of Moreau envelope, which is the standard stationarity measure for this class of problems. It matches the known rates that adaptive algorithms enjoy for the specific case of unconstrained smooth stochastic optimization. Our analysis works with mini-batch size of $1$, constant first and second order moment parameters, and possibly unbounded optimization domains. Finally, we illustrate the applications and extensions of our results to specific problems and algorithms.

研究の動機と目的

• 制約付きおよび弱凸確率的最適化における適応的アルゴリズムの理論的理解のギャップを埋めること。
• AMSGradの収束保証を、滑らかでない目的関数や非自明な制約を含む設定に、非制約的滑らか問題を超えて拡張すること。
• 実用的仮定（ミニバッチサイズ1、定数 $\\beta_1, \beta_2$、非有界ドメイン）の下でAMSGradを分析すること。
• 弱凸最適化における標準的な停留性測度であるMoreau包絡関数の勾配ノルムの収束レートを確立すること。
• ロバスト学習やスパース最適化などの現実世界の制約付き非凸問題における、AMSGradのような適応的手法の理論的基盤を提供すること。

提案手法

• 弱凸問題における停留性を定義するために、Moreau包絡関数をスムージング技術として用いる。
• DavisとDrusvyatskiy（2020）の枠組みを、制約付き弱凸確率的最適化に適応する。
• 適応的ステップサイズとモーメンタムを用いて、Moreau包絡関数の勾配ノルムの期待値をバインドするための新しい不等式連鎖を適用する。
• 非一様曲率を扱うために、$\hat{v}_t$ を用いた重み付きノルムフレームワークを導入する。
• Moreau包絡関数の勾配と勾配マッピングを関連付けるために、定数 $\bar{\rho} = 2\rho$ を用い、レート導出を可能にする。
• 近似作用素の非拡大性と三角不等式を用いて、収束バウンドにおける誤差項を制御する。

実験結果

リサーチクエスチョン

• RQ1 AMSGradは、実用的ハイパーパrameterを用いて、弱凸制約付き確率的最適化で収束を達成できるか？
• RQ2 AMSGradの収束レートは、制約付き設定においても非制約的滑らか確率的最適化のレートと一致するか？
• RQ3 解析は、実際の使用と同様にミニバッチサイズ1と定数 $\beta_1, \beta_2$ パラメータをサポートできるか？
• RQ4 適応的アルゴリズム下で、Moreau包絡関数の勾配ノルムは、弱凸制約付き問題における妥当かつタイトな停留性測度とみなせるか？
• RQ5 解析は、非有界ドメインおよび非滑らか目的関数を含む適応的最適化において、どのように対処するか？

主な発見

• AMSGradは、弱凸制約付き最適化において、Moreau包絡関数の勾配ノルムに対して $\tilde{\mathcal{O}}(\log T / \sqrt{T})$ の収束レートを達成する。
• このレートは、非制約的滑らか確率的最適化における最高の既知のレートと一致しており、制約付き設定における適応的アルゴリズムの頑健性を確認する。
• 解析はミニバッチサイズ1、定数 $\beta_1$ および $\beta_2$、非有界ドメインに対して成立し、実際の学習設定と整合する。
• 結果は制約付き $L$-スムーズ問題およびRMSpropの変種へも拡張可能であり、広範な適用性を示す。
• 主な技術的貢献は、重み付きノルムとリプシッツ連続性を介して、勾配マッピングとMoreau包絡関数の勾配を関連付けるバインドである。
• 証明により、$\|\mathcal{G}_{1/\bar{\rho}}(x_t)\| \leq \|\nabla \varphi^{t}_{1/\bar{\rho}}(x_t)\|_{\hat{v}_t^{-1/2}} + \bar{\rho} \|w\|_{\hat{v}_t^{1/2}}$ が成り立つことが示され、これによりレート導出が可能になる。