[論文レビュー] Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification

Prateek Jain, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 12, 2016

Stochastic Gradient Optimization Techniques被引用数 89

ひとこと要約

この論文は、最小二乗回帰における確率的勾配降下法（SGD）のミニバッチ処理とテイル平均化の有限標本解析を提供し、ミニバッチ処理による近似的な線形スケーリングの高速化を明示的に示し、モデルの不適合状態におけるノイズ特性に依存する問題依存のステップサイズの境界を導出する。また、最小最大リスクを達成する少数の逐次更新で実現可能な、非常に並列化可能なSGDの変種を提案する。

ABSTRACT

This work characterizes the benefits of averaging schemes widely used in conjunction with stochastic gradient descent (SGD). In particular, this work provides a sharp analysis of: (1) mini-batching, a method of averaging many samples of a stochastic gradient to both reduce the variance of the stochastic gradient estimate and for parallelizing SGD and (2) tail-averaging, a method involving averaging the final few iterates of SGD to decrease the variance in SGD's final iterate. This work presents non-asymptotic excess risk bounds for these schemes for the stochastic approximation problem of least squares regression. Furthermore, this work establishes a precise problem-dependent extent to which mini-batch SGD yields provable near-linear parallelization speedups over SGD with batch size one. This allows for understanding learning rate versus batch size tradeoffs for the final iterate of an SGD method. These results are then utilized in providing a highly parallelizable SGD method that obtains the minimax risk with nearly the same number of serial updates as batch gradient descent, improving significantly over existing SGD methods. A non-asymptotic analysis of communication efficient parallelization schemes such as model-averaging/parameter mixing methods is then provided. Finally, this work sheds light on some fundamental differences in SGD's behavior when dealing with agnostic noise in the (non-realizable) least squares regression problem. In particular, the work shows that the stepsizes that ensure minimax risk for the agnostic case must be a function of the noise properties. This paper builds on the operator view of analyzing SGD methods, introduced by Defossez and Bach (2015), followed by developing a novel analysis in bounding these operators to characterize the excess risk. These techniques are of broader interest in analyzing computational aspects of stochastic approximation.

研究の動機と目的

• ミニバッチ処理とテイル平均化が最小二乗回帰におけるSGDに与える利点を特定すること。
• これらの平均化手法の有限標本一般化誤差境界を確立すること。
• ミニバッチ処理が近似的な線形並列化スループットを達成する問題依存の条件を導出すること。
• モデル不適合状態がSGDにおける最適ステップサイズ選択に与える影響を分析すること。
• 最小最大リスクを最小限の逐次更新で達成する、非常に並列化可能なSGD手法を開発すること。

提案手法

• 論文は、DéfossezとBach（2015）のアプローチを拡張し、SGD反復の分散とバイアスを解析するための作用素理論的フレームワークを用いる。
• SGD更新ダイナミクスを表す線形作用素の逆作用素を特徴付けることで、一般化誤差をバインドするための新しい作用素解析を導入する。
• 確率的勾配の2次的性質をモデル化するため、入力データのヘッセ行列Hと4次モーメントテンソルMを組み込む。
• テイル平均化は、最終反復の重み付き平均として定式化され、最終推定器の分散を低減する。
• 作業量（総計算量）と深さ（逐次更新回数）のトレードオフを形式化し、並列化効率を定量化する。
• モデル平均化の非漸近的過剰リスク境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ処理は、最小二乗回帰におけるSGDの一般化誤差と並列化効率にどのように影響するか？
• RQ2 有限標本条件下で、ミニバッチ処理がSGDにおいてどの程度近似的な線形スループットの高速化を可能にするか？
• RQ3 モデル不適合状態は、SGDにおける最適ステップサイズ選択にどのように影響し、ノイズ特性は果たす役割は何か？
• RQ4 テイル平均化は最終SGD反復の分散を顕著に低減できるか？その理論的過剰リスク境界は何か？
• RQ5 非実現可能な最小二乗問題において、最小最大リスクを達成するために必要な最小の逐次更新回数は何か？

主な発見

• ミニバッチ処理は、ヘッセ行列や4次モーメントテンソルなどの問題固有パrameterに依存するが、最小二乗回帰におけるSGDで証明可能な近似的な線形スループットの高速化を可能にする。
• 不適合状態における最適ステップサイズはノイズ特性に依存し、適切な状態と比較して、dの要因分の誤差がある。
• テイル平均化は最終反復の分散を低減し、本論文ではこの手法の非漸近的過剰リスク境界を提供する。
• 非常に並列化可能なSGD手法が提案され、バッチ勾配降下法とほぼ同じ数の逐次更新で最小最大リスクを達成する。
• 解析により、適切なモデルと不適合モデルにおけるSGDの挙動に根本的な違いが存在することが明らかになった。特に、最大ステップサイズに要件の違いが現れる。
• 過剰リスクにおける主要な分散項は、データモーメントとステップサイズに依存する作用素T_b^{-1}Σのトレースによって支配されることが確立された。