[論文レビュー] High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance

Abdurakhmon Sadiev, М. А. Данилова+6 more|arXiv (Cornell University)|Feb 2, 2023

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、勾配と演算子ノイズの$\alpha$-次モーメントが有界であるという弱い仮定（$\alpha \in (1,2]$）のもとで、確率的最適化および変分不等式問題に対する高確率的収束保証を提示する。著者らは、無限大の分散を許容しつつも、より高いロバストネスを達成する新しいアルゴリズムを開発し、有界な勾配や分散を仮定しない平滑な非凸、凸、単調な設定において、$\widetilde{\cal O}(\cdot)$の複雑さの上限を達成した。

ABSTRACT

During recent years the interest of optimization and machine learning communities in high-probability convergence of stochastic optimization methods has been growing. One of the main reasons for this is that high-probability complexity bounds are more accurate and less studied than in-expectation ones. However, SOTA high-probability non-asymptotic convergence results are derived under strong assumptions such as the boundedness of the gradient noise variance or of the objective's gradient itself. In this paper, we propose several algorithms with high-probability convergence results under less restrictive assumptions. In particular, we derive new high-probability convergence results under the assumption that the gradient/operator noise has bounded central $α$-th moment for $α\in (1,2]$ in the following setups: (i) smooth non-convex / Polyak-Lojasiewicz / convex / strongly convex / quasi-strongly convex minimization problems, (ii) Lipschitz / star-cocoercive and monotone / quasi-strongly monotone variational inequalities. These results justify the usage of the considered methods for solving problems that do not fit standard functional classes studied in stochastic optimization.

研究の動機と目的

• 弱いノイズ仮定のもとでの確率的最適化における高確率的収束解析のギャップを埋めること。
• 従来の有界な分散や勾配の仮定を超えて、現実世界の重い尾を持つノイズを伴う問題に適用可能な結果を拡張すること。
• 無限大の分散を許容する設定でも、平滑な非凸、凸、単調な変分不等式問題において高確率的収束を維持するアルゴリズムを開発すること。
• ノイズの尾の挙動に敏感な複雑さの上限を提供し、期待値に基づく境界よりも実用的関連性を高めること。
• 勾配クリッピングと適応的ステップサイズの理論的保証を、$\alpha$-モーメント条件のもとで確立すること。

提案手法

• 勾配と演算子ノイズの$\alpha$-次モーメントの有界性（$\alpha \in (1,2]$）に基づく、従来の有界な分散仮定に代わる新しい解析フレームワークを提案する。
• 重い尾を持つノイズの設定において、大きな逸脱を制御するために、適応的ステップサイズと勾配クリッピングを組み合わせた修正された確率的勾配法を導入する。
• ベルヌーイ型不等式を用いた再帰的集中の議論により、反復における累積的ノイズを制限し、高確率的安定性を保証する。
• 制限付きギャップ関数とレベル集合の不変性を用いて、最小化問題および変分不等式問題の両方に対して高確率的境界を導出する。
• 帰納法と尾確率の制御を用いて、反復が解の周囲の球内に高確率で留まることが示され、無限大の分散下でも成立する。
• ステップサイズの選択と信頼度のトレードオフを用いて複雑さの上限を確立し、収束速度とロバストネスのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 勾配ノイズの分散が無限大であっても、確率的最適化で高確率的収束を達成できるか？
• RQ2 非漸近的高確率的収束を保証するための、ノイズモーメントの最小限の仮定は何か？
• RQ3 $\alpha$-モーメント条件（$\alpha \in (1,2]$）が、確率的手法の収束速度と複雑さに与える影響は何か？
• RQ4 重い尾を持つノイズ下で、勾配クリッピングと適応的ステップサイズが高確率的収束を保証できるか？
• RQ5 $\alpha$-モーメントノイズ下で、信頼度$1-\beta$と反復複雑さの最適なトレードオフは何か？

主な発見

• 本稿では、$\alpha \in (1,2]$を満たす$\alpha$-モーメント有界ノイズのもとで、平滑な非凸、凸、強く凸な最小化問題に対する高確率的収束を確立した。
• 強く凸な問題では、確率が$1-\beta$以上で、$\|x^{K+1} - x^* \|^{2} = \widetilde{\cal O}\left(\max\left\{\exp\left(-\frac{\mu K}{\ell \ln \frac{K}{\beta}}\right), \frac{\sigma^2 \ln^{\frac{2(\alpha-1)}{\alpha}}(K/\beta) \ln^2(B_\varepsilon)}{K^{\frac{2(\alpha-1)}{\alpha}} \mu^2}\right\} \right)$が成立する。
• 目標$\|x^{K+1} - x^* \|^{2} \leq \varepsilon$を達成するための反復複雑さは、$K = \widetilde{\cal O}\left(\frac{\ell}{\mu} \ln\left(\frac{R^2}{\varepsilon}\right) \ln\left(\frac{\ell}{\mu\beta} \ln\frac{R^2}{\varepsilon}\right) + \left(\frac{\sigma^2}{\mu^2 \varepsilon}\right)^{\frac{\alpha}{2(\alpha-1)}} \ln\left(\frac{1}{\beta} \left(\frac{\sigma^2}{\mu^2 \varepsilon}\right)^{\frac{\alpha}{2(\alpha-1)}}\right) \ln^{\frac{\alpha}{\alpha-1}}(B_\varepsilon)\right)$である。
• 解析により、ノイズ項の成長を制御することで、反復が解の周囲の半径$R$の球内に高確率で留まることを示した。これは、無限大の分散下でも成立する。
• 単調および強く単調な変分不等式問題に対しても、同じ$\alpha$-モーメント仮定のもとで、$\widetilde{\cal O}(\cdot)$の複雑さの上限が達成された。
• 本結果により、有界な勾配や分散を仮定しない高確率的収束が可能であることが示され、理論的保証の適用範囲が著しく拡大された。