[論文レビュー] Accelerating Stochastic Gradient Descent For Least Squares Regression

Prateek Jain, Sham M. Kakade+3 more|arXiv (Cornell University)|Apr 26, 2017

Stochastic Gradient Optimization Techniques参考文献 35被引用数 25

ひとこと要約

本稿では、最小二乗回帰に対する加速型確率的勾配降下法（ASGD）を提案し、標準的な確率的勾配降下法（SGD）よりも最小上限最適な統計的リスクに早く到達することを示している。ASGDを確率過程として厳密に分析し、新規のポテンシャル関数を導入することで、加速が統計的誤差に対して頑健であることを証明し、超過リスクの収束速度を $Θ^*€\left(\exp\left(-n/\sqrt{\kappa\widetilde{\kappa}}\right)\right)$ まで向上させた。非加速手法を上回る。

ABSTRACT

There is widespread sentiment that it is not possible to effectively utilize fast gradient methods (e.g. Nesterov's acceleration, conjugate gradient, heavy ball) for the purposes of stochastic optimization due to their instability and error accumulation, a notion made precise in d'Aspremont 2008 and Devolder, Glineur, and Nesterov 2014. This work considers these issues for the special case of stochastic approximation for the least squares regression problem, and our main result refutes the conventional wisdom by showing that acceleration can be made robust to statistical errors. In particular, this work introduces an accelerated stochastic gradient method that provably achieves the minimax optimal statistical risk faster than stochastic gradient descent. Critical to the analysis is a sharp characterization of accelerated stochastic gradient descent as a stochastic process. We hope this characterization gives insights towards the broader question of designing simple and effective accelerated stochastic methods for more general convex and non-convex optimization problems.

研究の動機と目的

• Nesterovの加速のような高速勾配法が、誤差の蓄積により確率的最適化において不安定であるという従来の考えを挑戦すること。
• 最小二乗回帰における最小上限最適な統計的リスクを、計算的に効率的かつストリーミング可能なアルゴリズムで達成すること。
• 加速型確率的勾配降下法を確率過程としてきめ細かく特徴づけ、統計的ノイズに対して頑健であることを可能にすること。
• 新しいポテンシャル関数とプロセスレベルの解析を通じて、加速が確率的設定で効果的に機能させられることを示すこと。

提案手法

• 最小二乗回帰に特化したモーメンタムと分散低減技術を統合した、新規の加速型確率的勾配降下法（ASGD）を提案する。
• ASGDにおける誤差のバイアスとバイアス成分を分析するための新規ポテンシャル関数を導入し、収束に対するきめ細かな制御を可能にする。
• ASGDの反復を確率過程として分析し、行列の摂動理論と固有値分解を用いて反復の共分散の上限を導出する。
• テンソルベースの分解を用いて、超過リスクのバイアスとバイアス成分を分離し、正確な誤差特徴づけを可能にする。
• バーンイン段階の解析を確立し、誤差が対数的要因を除いて指数関数的に減少することを示し、その後統計的誤差が支配的になることを示す。
• 行列ノルムの上限と固有値解析を用いて、誤差項の成長を制御し、特にノイズや条件数の影響下でも有効である。

実験結果

リサーチクエスチョン

• RQ1 加速型勾配法は、確率的最適化における統計的誤差に対して頑健にできるか？
• RQ2 最小二乗回帰において、標準的なSGDよりも最小上限最適な統計的リスクに早く到達することは可能か？
• RQ3 非漸近的設定において、加速型確率的勾配降下法のバイアスとバイアス成分を正確に特徴づけることは可能か？
• RQ4 ASGDの確率過程としての挙動が、より速い収束速度を達成するために果たす役割は何か？
• RQ5 加速型確率的手法の誤差ダイナミクスをきめ細かく束縛できるようなポテンシャル関数を設計できるか？

主な発見

• 提案されたASGD法は、超過リスク $\mathcal{O}^*\left(\exp\left(-n/\sqrt{\kappa\widetilde{\kappa}}\right)\right)$ を達成し、標準的なSGDの $\mathcal{O}(1/n)$ の速度よりも速く減少する。
• この方法は、最小上限最適な統計的リスク $\mathcal{O}(\sigma^2 d / n)$ を証明可能に達成し、大標本極限において経験的リスク最小化（ERM）と一致する。
• 解析により、バーンイン段階後の主要誤差が統計的に最適であり、主な項が $\mathcal{O}(\sigma^2 d / n)$ であることが示された。
• アルゴリズムは $\mathcal{O}(d)$ のメモリフットプリントを維持しており、ストリーミングおよび大規模な設定に適している。
• 収束速度は、条件数 $\kappa$ と統計的条件数 $\widetilde{\kappa}$ を用いて、標準的なSGDと比較して $\sqrt{\kappa\widetilde{\kappa}}$ 倍の加速が達成されている。
• 統計的ノイズに対して頑健であり、分散誤差は $\mathcal{O}(\sigma^2 d / n)$ で有界であり、バイアス誤差は $\sim 1/\sqrt{\kappa\widetilde{\kappa}}$ のレートで指数的に減少する。