[論文レビュー] Linearly convergent stochastic heavy ball method for minimizing generalization error

Nicolas Loizou, Peter Richtárik|arXiv (Cornell University)|Oct 30, 2017

Stochastic Gradient Optimization Techniques参考文献 13被引用数 26

ひとこと要約

本稿では、固定ステップサイズの確率的勾配降下法とモーメンタムを組み合わせることで一般化誤差を最小化するための確率的ヘヴィー・ボール（SHB）法を提案する。SHBの期待値における線形収束レートを初めて確立し、正確性条件のもとで加速収束を達成する。反復複雑度は $τ(λ_{\text{max}}/λ_{\text{min}}^{+})\log(1/\epsilon)$ のオーダーでスケーリングされる。実験では、標準的なSGDやランダム化カツマルツ法を上回ることを示した。

ABSTRACT

In this work we establish the first linear convergence result for the stochastic heavy ball method. The method performs SGD steps with a fixed stepsize, amended by a heavy ball momentum term. In the analysis, we focus on minimizing the expected loss and not on finite-sum minimization, which is typically a much harder problem. While in the analysis we constrain ourselves to quadratic loss, the overall objective is not necessarily strongly convex.

研究の動機と目的

• 非強凸的目的関数および固定ステップサイズのもとで、期待損失を最小化するための確率的ヘヴィー・ボール（SHB）法の最初の線形収束結果を確立すること。
• 一貫性のある線形系の確率的再定式化の文脈においてSHBを分析し、有限和最小化ではなく一般化誤差に注目すること。
• L2およびL1の反復の非漸近的収束レートを導出し、正確性のもとで加速レートを含むこと。
• モーメンタムがランダム化カツマルツ型手法における収束速度を向上させることを実証的に示すこと。

提案手法

• SHB法は固定ステップサイズ $\omega$ とモーメンタムパラメータ $\beta$ を用い、$x_{k+1} = x_k - \omega \nabla f_{\mathbf{S}_k}(x_k) + \beta(x_k - x_{k-1})$ により反復を更新する。全勾配を確率的勾配に置き換える。
• この手法は、$\mathbf{A}x = b$ の確率的再定式化のもとで分析され、$f(x) = \mathbb{E}_{\mathbf{S} \sim \mathcal{D}}[\frac{1}{2}\|\mathbf{A}x - b\|_{\mathbf{H}}^2]$ となる。ここで $\mathbf{H}$ は $\mathbf{S}^\top \mathbf{A} \mathbf{A}^\top \mathbf{S}$ の一般化逆行列によって定義される。
• 収束は、$\nabla^2 f(x) = \mathbf{A}^\top \mathbb{E}_{\mathbf{S} \sim \mathcal{D}}[\mathbf{H}] \mathbf{A}$ のスペクトル性質を用いて期待値のもとで確立され、その固有値は $[0,1]$ の範囲にある。
• L2収束 $\mathbb{E}[\|x_k - x_*\|^2] \to 0$ とL1収束 $\|\mathbb{E}[x_k - x_*]\|^2 \to 0$ を区別し、後者では加速線形レートを達成する。
• 正確性が成り立たない場合のサブ線形レートを導出するために、Cesàro平均 $\hat{x}_k = \frac{1}{k}\sum_{t=0}^{k-1} x_t$ が用いられる。
• $\mathbf{S}$ が標準基底ベクトルである場合、この手法はモーメンタム付きのランダム化カツマルツ法に簡略化され、実データ上の実証的検証が可能になる。

実験結果

リサーチクエスチョン

• RQ1 確率的ヘヴィー・ボール法は、非有限和的・非強凸的設定のもとで、一般化誤差を最小化する際に期待値のもとで線形収束を達成できるか？
• RQ2 ステップサイズ $\omega$ とモーメンタム $\beta$ にどのような条件を課すと、期待される反復の加速線形収束が保証されるか？
• RQ3 実際の応用において、SHBの収束レートは標準的SGDやランダム化カツマルツ法と比べてどのように異なるか？
• RQ4 正確性条件がSHBの加速収束を可能にする役割は何か？

主な発見

• SHB法は、$\mathbb{E}[\|x_k - x_*\|^2]$ に対して、$\omega$ と $\beta$ に依存する収束因子を伴い、グローバルで非漸近的線形収束を達成する。
• 正確性仮定のもとで、期待される反復 $\mathbb{E}[x_k - x_*]$ はレート $\|\mathbb{E}[x_k - x_*]\|^2 \leq \beta^k C$ で線形収束し、$\beta < 1$ である。
• 反復複雑度 $\|\mathbb{E}[x_k - x_*]\|^2 \leq \epsilon$ は $\mathcal{O}(\sqrt{\lambda_{\text{max}}/\lambda_{\text{min}}^{+}} \log(1/\epsilon))$ であり、加速収束を達成する。
• $\omega = 1$ および $\beta = (1 - \sqrt{0.99\lambda_{\text{min}}^{+}})^2$ の場合、複雑度は $\mathcal{O}(\sqrt{1/\lambda_{\text{min}}^{+}} \log(1/\epsilon))$ に簡略化される。
• 正確性が成り立たない場合、Cesàro平均 $\hat{x}_k$ は $\mathbb{E}[f(\hat{x}_k)] = \mathcal{O}(1/k)$ を満たし、標準的SGDと同等のレートを達成する。
• LIBSVMデータ上の実験結果から、モーメンタムが反復回数およびウォールクロック時間の両面で収束速度を顕著に向上させることを示した。