[論文レビュー] Parallelizing Stochastic Approximation Through Mini-Batching and Tail-Averaging.

Prateek Jain, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 12, 2016

Stochastic Gradient Optimization Techniques参考文献 4被引用数 13

ひとこと要約

この論文は、最小二乗回帰におけるミニバッチ化およびテイル平均化された確率的勾配降下法（SGD）について、初めてのタイトな非漸近的一般化誤差バウンドを提供する。ミニバッチ化による近似的な線形スケーリングの高速化を確実に示し、最小限の逐次更新で最適な統計的誤差を達成する高並列性を持つSGDの変種を導入する。また、アグノスティックノイズ設定下での最適ステップサイズがノイズの性質に依存することを明らかにする。

ABSTRACT

This work characterizes the benefits of averaging techniques widely used in conjunction with stochastic gradient descent (SGD). In particular, this work sharply analyzes: (1) mini-batching, a method of averaging many samples of the gradient to both reduce the variance of a stochastic gradient estimate and for parallelizing SGD and (2) tail-averaging, a method involving averaging the final few iterates of SGD in order to decrease the variance in SGD’s final iterate. This work presents the first tight non-asymptotic generalization error bounds for these schemes for the stochastic approximation problem of least squares regression. Furthermore, this work establishes a precise problem-dependent extent to which mini-batching can be used to yield provable near-linear parallelization speedups over SGD with batch size one. These results are utilized in providing a highly parallelizable SGD algorithm that obtains the optimal statistical error rate with nearly the same number of serial updates as batch gradient descent, which improves significantly over existing SGD-style methods. Finally, this work sheds light on some fundamental differences in SGD’s behavior when dealing with agnostic noise in the (non-realizable) least squares regression problem. In particular, the work shows that the stepsizes that ensure optimal statistical error rates for the agnostic case must be a function of the noise properties. The central analysis tools used by this paper are obtained through generalizing the operator view of averaged SGD, introduced by Defossez and Bach (2015) followed by developing a novel analysis in bounding these operators to characterize the generalization error. These techniques may be of broader interest in analyzing various computational aspects of stochastic approximation.

研究の動機と目的

• ミニバッチ化とテイル平均化が、確率的近似における分散低減と並列処理をどのように促進するかを特定すること。
• 最小二乗回帰の文脈において、これらの手法の非漸近的一般化誤差バウンドを確立すること。
• ミニバッチ化が、バッチサイズが1の標準的なSGDに対して、問題依存の条件下で証明可能な近似的な線形スケーリングの高速化をどの程度達成できるかを同定すること。
• 最小限の逐次計算で最適な統計的誤差を達成する高並列性を持つSGDアルゴリズムを開発すること。
• アグノスティックノイズがSGD収束に与える影響を理解し、ノイズ依存の最適ステップサイズを同定すること。

提案手法

• Defォセスとバッハ（2015）が当初導入した平均化SGDの作用素的視点を一般化し、ミニバッチ化およびテイル平均化されたSGDのダイナミクスを分析する。
• 独立および従属のデータ設定下での平均化SGDの一般化誤差を特徴付けるために、新規の作用素バウンディング技術を開発する。
• 作用素理論的ツールを用いて、ミニバッチ化とテイル平均化の収束性および分散低減特性を分析する。
• 収束レートを維持しつつ、近似的な線形スケーリングの高速化を可能にするミニバッチ化の範囲を問題依存のバウンドとして導出する。
• ミニバッチ化とテイル平均化を組み合わせた新しいアルゴリズムフレームワークを提案し、最小限の逐次更新で最適な統計的誤差を達成する。
• ノイズ特性に依存するステップサイズスケジュールを導出することで、アグノスティックノイズがSGDに与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ化をどの程度活用することで、収束レートを損なわずに確率的近似において証明可能な近似的な線形スケーリングの高速化を達成できるか？
• RQ2 テイル平均化とミニバッチ化が、最小二乗回帰における一般化誤差にどのように同時に影響を与えるか？
• RQ3 アグノスティックノイズが存在する状況下でのSGDの最適ステップサイズスケジュールは何か？また、ノイズ特性にどのように依存するか？
• RQ4 最小限の逐次更新で、バッチ勾配降下法とほぼ同じ数の更新で最適な統計的誤差率を達成できる高並列性を持つSGDの変種を設計可能か？
• RQ5 本研究で開発された作用素理論的ツールは、平均化SGDスキームの一般化誤差バウンドをどのようにより鋭く特徴づけるか？

主な発見

• 本論文は、最小二乗回帰におけるミニバッチ化およびテイル平均化されたSGDについて、初めてのタイトな非漸近的一般化誤差バウンドを確立する。
• 問題依存の条件下で、ミニバッチ化がバッチサイズが1の標準的SGDに対して、証明可能な近似的な線形スケーリングの高速化を達成できることを示す。
• 最小限の逐次更新で最適な統計的誤差率を達成する高並列性を持つ新しいSGDアルゴリズムを提案する。
• 分析により、アグノスティックノイズ設定下での最適ステップサイズは、ノイズの性質に応じて明示的にチューニングする必要があることが明らかになった。
• 提案された作用素ベースの分析フレームワークは、特に平均化SGDの変種において、従来の手法よりも鋭い一般化誤差の特徴づけを可能にする。
• テイル平均化が最終的なSGD推定値の分散を顕著に低減することが示され、非実現可能な設定下での一般化性能の向上に寄与することが明らかになった。