[論文レビュー] On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings

Mahmoud Assran, Michael Rabbat|arXiv (Cornell University)|Feb 27, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用数 10

ひとこと要約

本稿は、定数ステップサイズとモーメンタムを用いた確率的設定におけるネステロフの加速勾配法を分析し、確率的近似設定では最適解の近傍へ線形収束することを示している。驚くべきことに、有限和設定では、条件の良さやデータの整合性に関する追加条件が満たされない限り、標準的なパrameter選択のもとで発散する可能性があることが判明し、実用的な機械学習応用における重要な制限要因が明らかになった。

ABSTRACT

We study Nesterov's accelerated gradient method with constant step-size and momentum parameters in the stochastic approximation setting (unbiased gradients with bounded variance) and the finite-sum setting (where randomness is due to sampling mini-batches). To build better insight into the behavior of Nesterov's method in stochastic settings, we focus throughout on objectives that are smooth, strongly-convex, and twice continuously differentiable. In the stochastic approximation setting, Nesterov's method converges to a neighborhood of the optimal point at the same accelerated rate as in the deterministic setting. Perhaps surprisingly, in the finite-sum setting, we prove that Nesterov's method may diverge with the usual choice of step-size and momentum, unless additional conditions on the problem related to conditioning and data coherence are satisfied. Our results shed light as to why Nesterov's method may fail to converge or achieve acceleration in the finite-sum setting.

研究の動機と目的

• 確率的勾配を用いた場合のネステロフの加速勾配法の収束挙動を、確率的近似設定および有限和設定の両方で理解すること。
• 決定論的状況では理論的保証があるものの、有限和設定ではなぜ加速が達成されず収束しなくなるのかを特定すること。
• 強い成長条件や補間条件を仮定しない、定数ステップサイズとモーメンタムを用いた有限和設定における加速確率的勾配（ASG）法の収束条件を確立すること。
• 有限和問題における確率的勾配降下法とASG法の収束速度および分散に対するタイトな理論的バウンドを提供すること。
• 非理想的なミニバッチ状況において、最適化の安定性を高め、分散を低減するための負のモーメンタムパrameterの役割を調査すること。

提案手法

• フィードバック付きの線形動的システムとしてASG法を分析し、制御理論的安定性フレームワークを用いて収束条件を導出する。
• リャプノフに基づく証明技法を適用し、滑らかで強く凸で2回連続微分可能となる目的関数に対するASG法の収束バウンドを導出する。
• システム行列の連合スペクトル半径を用いて、特に有限和設定における理論的収束速度および分散バウンドを導出する。
• さまざまな条件数とミニバッチ構造を有する最小二乗問題を用いて理論的予測の実証的妥当性を検証する。
• 有限和設定において理論的収束速度（破線）と実験的性能（実線）を比較し、バウンドのタイトさを示す。
• 正および負のモーメンタムパrameterを両方検討し、収束速度および分散低減に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズとモーメンタムを用いたネステロフの加速勾配法は、確率的近似設定で収束するか？
• RQ2 確率的近似設定では機能するが、有限和設定ではなぜネステロフ法が発散する可能性があるのか？
• RQ3 有限和設定での収束に必要な、問題構造に関する追加条件（例：条件数、データの整合性）は何か？
• RQ4 補間条件や強い成長条件を仮定しない有限和設定におけるASG法のタイトな理論的収束速度および分散バウンドを導出できるか？
• RQ5 有限和最適化において、負のモーメンタムパrameterは収束性の向上や分散低減にどのように寄与するか？

主な発見

• 確率的近似設定では、ネステロフ法は決定論的状況と同様の加速速度で最適解の近傍へ線形収束する。
• 有限和設定では、問題の条件数およびデータの整合性に関する追加条件が満たされない限り、標準的なステップサイズとモーメンタム選択のもとで発散する可能性がある。
• 有限和設定における確率的勾配降下法について、$ \left(\frac{Q-1}{Q+1}\right)^k $ のタイトな収束速度と $ \frac{1}{\mu}\sigma $ の分散バウンドを、強い成長条件や補間仮定を必要とせず確立した。
• 補題4.2における理論的収束速度および分散バウンドは、さまざまな条件数 $ Q $ に対して実証的にタイトであることが確認され、シミュレーションで実線が破線の理論的予測と一致した。
• 負のモーメンタムパrameterは分散を低減し、安定性を向上させることができるが、収束速度を遅くする可能性がある。これは、適応的スケジュールや敵対的訓練の安定化に有用である可能性がある。
• 連合スペクトル半径フレームワークは、よりタイトな収束バウンドへの有望な道筋を示しているが、計算は依然として困難である。