[論文レビュー] Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs

Bin Hu, Peter Seiler+1 more|arXiv (Cornell University)|Nov 3, 2017

Stochastic Gradient Optimization Techniques参考文献 34被引用数 10

ひとこと要約

本稿は、勾配更新が相対誤差と絶対誤差の両方の影響を受ける偏りのある確率的勾配降下法（biased SGD）に対して、逐次的半定値計画法を用いてきめ細かい最悪ケース収束バウンドを導出する、新しい収束解析を提案する。ステップサイズ選択、収束速度、最適化精度、勾配不正確さに対するロバストネスを同時に捉える線形行列不等式（LMI）を定式化し、強い凸性と滑らかさの仮定の下で定常ステップサイズに対する解析的バウンドを導出する。

ABSTRACT

We present a convergence rate analysis for biased stochastic gradient descent (SGD), where individual gradient updates are corrupted by computation errors. We develop stochastic quadratic constraints to formulate a small linear matrix inequality (LMI) whose feasible points lead to convergence bounds of biased SGD. Based on this LMI condition, we develop a sequential minimization approach to analyze the intricate trade-offs that couple stepsize selection, convergence rate, optimization accuracy, and robustness to gradient inaccuracy. We also provide feasible points for this LMI and obtain theoretical formulas that quantify the convergence properties of biased SGD under various assumptions on the loss functions.

研究の動機と目的

• 勾配更新が相対誤差と絶対誤差の両方の影響を受ける偏りのある確率的勾配降下法（biased SGD）の収束特性を分析すること。
• ステップサイズ、収束速度、最適化精度、勾配不正確さに対するロバストネスのトレードオフを同時に捉える統一的フレームワークを構築すること。
• 一般の誤差モデルに対して、最悪ケース収束バウンドを導出できる線形行列不等式（LMI）を定式化すること。
• 損失関数の強い凸性と滑らかさの仮定の下で、定常ステップサイズを用いた偏りのある SGD の解析的収束速度バウンドを導出すること。
• 時間変動するステップサイズを持つ偏りのある SGD を分析するための逐次的最小化アプローチを提供すること。

提案手法

• 偏りのある SGD の誤差ダイナミクスをモデル化するための確率的二次制約を定式化し、小さな線形行列不等式（LMI）を導出する。
• LMI を収束解析に適した等価形式に変換するためにシュール補題を用いる。
• 時間変動するステップサイズ方策を分析するための逐次的最小化戦略を適用する。
• 収束バウンドの形 $\mathbb{E}\|x_k - x_\star\|^2 \leq \rho^{2k}\mathbb{E}\|x_0 - x_\star\|^2 + H_\star$ を導出し、ここで $\rho^2 = 1 - \frac{m^2 - \delta^2\tilde{M}}{m}\alpha + O(\alpha^2)$ および $H_\star = \frac{c^2 + 2\delta^2G^2}{m^2 - \delta^2\tilde{M}} + O(\alpha)$ である。
• 帰納法に基づく証明を用いて、上界列 $V_k$ が固定点 $V_\star$ に収束することを示し、漸近的収束を保証する。
• ラグランジュ乗数法と変数変換を用いて、逐次更新で得られる最小化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 勾配計算における相対誤差と絶対誤差の両方の存在が、SGD の収束速度と最終的な最適化誤差にどのように影響するか？
• RQ2 ステップサイズ、収束速度、精度、勾配不正確さに対するロバストネスの相互作用を同時に捉える統一的フレームワークを構築可能か？
• RQ3 一般の誤差モデル $\|e_k\|^2 \leq \delta^2\|u_k\|^2 + c^2$ の下で、偏りのある SGD の最もきつい最悪ケース収束バウンドは何か？
• RQ4 時間変動するステップサイズを持つ偏りのある SGD を分析するための逐次的最小化アプローチはどのように利用可能か？
• RQ5 強い凸性と滑らかさの仮定の下で、定常ステップサイズを用いた偏りのある SGD の解析的収束速度および最終誤差バウンドは何か？

主な発見

• 偏りのある SGD の収束速度は $\rho^2 = 1 - \frac{m^2 - \delta^2\tilde{M}}{m}\alpha + O(\alpha^2)$ で特徴づけられ、強いたんせいパラメータ $m$、相対誤差バウンド $\delta$、勾配ノルムバウンド $\tilde{M}$ に依存する。
• 最終的な最適化誤差は $H_\star = \frac{c^2 + 2\delta^2G^2}{m^2 - \delta^2\tilde{M}} + O(\alpha)$ でバウンドされ、ここで $c$ は絶対誤差バウンド、$G^2$ は勾配ノルム定数である。
• 提案された LMI を用いた解析フレームワークにより、誤差モデル (1.4) を満たす限り、敵対的、確率的、または決定的な勾配誤差に対してもロバストな収束バウンドを導出可能である。
• 逐次的最小化アプローチにより、時間変動するステップサイズ方策を用いた偏りのある SGD の解析が可能となり、上界列 $V_k$ が固定点 $V_\star$ に収束することが保証される。
• 十分に小さな定常ステップサイズに対して、上界 $\hat{U}_k$ を $V_\star$ に限りなく近づけることができ、$\lim_{k\to\infty} V_k = V_\star$ が成立する。
• 解析により、$\delta > 0$ の場合、ステップサイズを小さくしてもバイアスに起因する誤差を完全に排除できないことが明らかになった。これは、勾配不正確さが存在する状況下で、収束速度と最終的精度の間の根本的なトレードオフが存在することを示している。