[論文レビュー] Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition

Mark Schmidt, Nicolas Le Roux|arXiv (Cornell University)|Aug 29, 2013

Stochastic Gradient Optimization Techniques参考文献 7被引用数 86

ひとこと要約

本稿では、確率的勾配降下法（SGD）が、個々の勾配ノルムが全勾配ノルムの線形関数で有界である強力な成長条件のもとで、$O(1/k)$収束および線形収束を達成することを確立している。十分に小さな定数ステップサイズを用いることで、1回の反復で1つのサンプルしか使用しないにもかかわらず、SGDは決定的勾配降下法と同等の収束速度を達成する。

ABSTRACT

We consider optimizing a function smooth convex function $f$ that is the average of a set of differentiable functions $f_i$, under the assumption considered by Solodov [1998] and Tseng [1998] that the norm of each gradient $f_i'$ is bounded by a linear function of the norm of the average gradient $f'$. We show that under these assumptions the basic stochastic gradient method with a sufficiently-small constant step-size has an $O(1/k)$ convergence rate, and has a linear convergence rate if $g$ is strongly-convex.

研究の動機と目的

• 強力な成長条件の下で、確率的勾配降下法と決定的勾配降下法の収束速度のギャップを埋めること。
• 定数ステップサイズを用いたSGDが、凸目的関数に対して$O(1/k)$収束を達成でき、強く凸な目的関数に対して線形収束を達成できることを示すこと。
• 減少するステップサイズを必要とせずに高速収束を維持できる条件を特定すること。
• 決定的インクリメンタル勾配法に関する先行結果を、1サンプル更新ルールを有する確率的設定に拡張すること。

提案手法

• 強力な成長条件を導入：すべての$x$に対して$\max_i \|f_i'(x)\| \leq B \|f'(x)\|$が成り立ち、個々の勾配が平均勾配によって制御されることを保証する。
• 誤差項$e_k = f_i'(x_k) - f'(x_k)$を含む全勾配更新としてSGDを再定式化し、分散解析を可能にする。
• この条件を用いて$\mathbb{E}[\|e_k\|^2] \leq (B^2 - 1)\|f'(x_k)\|^2$を導出し、誤差分散を勾配ノルムに関連付ける。
• $\|x_k - x^*\|^2$を用いたリャプノフ関数の議論を適用し、再帰的誤差バウンディングを導出する。
• $\alpha = 1/(LB^2)$を選び、パラメータ$\beta$について最適化することで勾配項を相殺する。
• 反復回数にわたる期待値および和の技法を用いて、$O(1/k)$および線形収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 強力な成長条件のもとで、定数ステップサイズを用いた確率的勾配降下法が$O(1/k)$収束を達成できるか？
• RQ2 強力な成長条件が、定数ステップサイズを用いた強く凸な目的関数に対するSGDの線形収束を可能にするか？
• RQ3 強力な成長条件のもとで、確率的勾配の分散は全勾配ノルムとどのように関係するか？
• RQ4 この条件下で、SGDの収束速度は決定的勾配降下法のものと一致するか？
• RQ5 強力な成長条件のもとで高速収束を保証する最適な定数ステップサイズは何か？

主な発見

• 強力な成長条件$\max_i \|f_i'(x)\| \leq B \|f'(x)\|$のもとで、定数ステップサイズ$\alpha = 1/(LB^2)$を用いたSGDは、凸目的関数に対して$O(1/k)$収束を達成する。
• 強く凸な目的関数に対しては、同じステップサイズを用いたSGDは線形収束を達成する：$\mathbb{E}[f(x_k)] - f(x^*) \leq \left(1 - \frac{\mu}{LB^2}\right)^k [f(x_0) - f(x^*)]$。
• 収束速度は$B \to 1$に近づくにつれて、決定的手法の$O(1/k)$および線形収束速度に近づくため、バウンディングのタイトさが示される。
• 解析により、確率的勾配の分散が$\mathbb{E}[\|e_k\|^2] \leq (B^2 - 1)\|f'(x_k)\|^2$で制御されることを示し、これは収束速度の導出の鍵となる。
• 標準的なSGDとは異なり、減少するステップサイズを必要とせずに高速収束を達成する。
• 1回の反復で1つのサンプルしか使用しないにもかかわらず、この結果は成立する。これは、強力な成長条件が確率的状態でも高速収束を可能にするという点で、顕著である。