[論文レビュー] On Stochastic Moving-Average Estimators for Non-Convex Optimization.

Zhishuai Guo, Yi Xu+3 more|arXiv (Cornell University)|Apr 30, 2021

Stochastic Gradient Optimization Techniques参考文献 47被引用数 11

ひとこと要約

本稿は、一般の無偏な確率的オракルのみを用いて非凸最適化を行うための確率的移動平均推定器（SEMA）フレームワークを導入する。Adam風の手法における増加するモーメンタムの収束性を確立し、最小・最大問題およびバイレベル問題のための単ループ法を提案し、オラクル複雑度を改善するとともに、すべての設定で分散減少性を証明する。

ABSTRACT

In this paper, we demonstrate the power of a widely used stochastic estimator based on moving average (SEMA) on a range of stochastic non-convex optimization problems, which only requires {\bf a general unbiased stochastic oracle}. We analyze various stochastic methods (existing or newly proposed) based on the {\bf variance recursion property} of SEMA for three families of non-convex optimization, namely standard stochastic non-convex minimization, stochastic non-convex strongly-concave min-max optimization, and stochastic bilevel optimization. Our contributions include: (i) for standard stochastic non-convex minimization, we present a simple and intuitive proof of convergence for a family Adam-style methods (including Adam) with an increasing or large momentum parameter for the first-order moment, which gives an alternative yet more natural way to guarantee Adam converge; (ii) for stochastic non-convex strongly-concave min-max optimization, we present a single-loop stochastic gradient descent ascent method based on the moving average estimators and establish its oracle complexity of $O(1/\epsilon^4)$ without using a large mini-batch size, addressing a gap in the literature; (iii) for stochastic bilevel optimization, we present a single-loop stochastic method based on the moving average estimators and establish its oracle complexity of $\widetilde O(1/\epsilon^4)$ without computing the inverse or SVD of the Hessian matrix, improving state-of-the-art results. For all these problems, we also establish a variance diminishing result for the used stochastic gradient estimators.

研究の動機と目的

• 一般の無偏な確率的オラクルを用いた非凸最適化の統一的フレームワークの構築を目的とする。
• 非凸設定における増加するモーメンタムを有するAdam風手法の新たな収束証明を提供すること。
• 確率的非凸強凹最小・最大問題およびバイレベル最適化問題におけるオラクル複雑度のギャップを埋めること。
• バイレベル最適化において大規模ミニバッチやヘッシアンの逆行列計算に依存しないこと。
• 3つの問題クラスすべてにおいて、確率的勾配推定器の分散減少性を確立すること。

提案手法

• 本稿は、確率的移動平均推定器（SEMA）の分散再帰性を、中心的な分析的道具として用いる。
• SEMAを用いて、非凸強凹最小・最大問題のための単ループ確率的勾配降下上昇法を設計する。
• バイレベル最適化の文脈では、ヘッシアンの逆行列計算やSVDを実行せずに済ませる単ループ法を提案する。
• 1次モーメント推定において、増加または大きなパrameterを用いたモーメンタムを活用し、収束を保証する。
• 移動平均勾配推定器の分散の減衰挙動を分析することで収束性を確立する。
• 理論的分析は、非凸最適化における標準的仮定の下でのオラクル複雑度境界に基づく。

実験結果

リサーチクエスチョン

• RQ1 増加するモーメンタムを有するAdam風手法が、より単純で直感的な証明で非凸設定でも収束するか？
• RQ2 大規模ミニバッチを必要とせずに、確率的非凸強凹最小・最大問題における最適なオラクル複雑度を達成できる単ループ法は存在するか？
• RQ3 ヘッシアンの逆行列計算やSVD計算を回避できる単ループ法でバイレベル最適化を解くことは可能か？
• RQ4 SEMA推定器は、さまざまな非凸最適化クラスにおいて分散減少性を示すか？
• RQ5 これらの3つのクラスの確率的非凸問題において、達成可能な最もタイトなオラクル複雑度は何か？

主な発見

• 非凸最適化における増加するモーメンタムを有するAdam風手法の、新たな直感的な収束証明が確立された。
• 非凸強凹最小・最大問題のための提案手法は、大規模ミニバッチを必要とせず、オラクル複雑度 $O(1/\epsilon^4)$ を達成した。
• 確率的バイレベル最適化において、ヘッシアンの逆行列計算やSVDを実行せず、ほぼ最適なオラクル複雑度 $\widetilde{O}(1/\epsilon^4)$ を達成した。
• 本稿では、3つの問題クラスすべてで使用される確率的勾配推定器の分散減少性を証明した。
• 結果として、最小・最大およびバイレベル最適化の両設定において、最先端の複雑度境界を改善した。
• SEMAフレームワークは、多様な非凸最適化問題にわたる統一的分析的手法を提供する。