[論文レビュー] Beating SGD Saturation with Tail-Averaging and Minibatching

Nicole Mücke, Gergely Neu+1 more|arXiv (Cornell University)|Feb 22, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 5

ひとこと要約

本稿は、ヒルバート空間における最小二乗学習における確率的勾配降下法（SGD）において、テール平均化とミニバッチ処理の新しい組み合わせを提案し、標準的な平均化が非パラメトリックな設定において収束速度を低下させる「飽和」問題を克服することを示している。複数回の通過、ミニバッチ処理、テール平均化の相互作用を分析することで、最適な学習率を導出し、テール平均化が一様平均化よりも収束が速く一般化性能が優れていることを示している。これは、積極的なステップサイズとバッチサイズを用いても同様に成り立つ。

ABSTRACT

While stochastic gradient descent (SGD) is one of the major workhorses in machine learning, the learning properties of many practically used variants are poorly understood. In this paper, we consider least squares learning in a nonparametric setting and contribute to filling this gap by focusing on the effect and interplay of multiple passes, mini-batching and averaging, and in particular tail averaging. Our results show how these different variants of SGD can be combined to achieve optimal learning errors, hence providing practical insights. In particular, we show for the first time in the literature that tail averaging allows faster convergence rates than uniform averaging in the nonparametric setting. Finally, we show that a combination of tail-averaging and minibatching allows more aggressive step-size choices than using any one of said components.

研究の動機と目的

• 非パラメトリックな学習における複数回の通過、ミニバッチ処理、平均化を組み合わせたSGDの変種について、理論的理解の不足を解消すること。
• 非パラメトリックな設定において一様平均化が劣悪な収束速度（飽和）を引き起こす理由を調査すること。
• テール平均化が飽和問題を回避し、最適な学習率を達成できることを示すこと。
• ミニバッチ処理とテール平均化の相互作用が収束性と一般化性能をどのように向上させるかを分析すること。
• データおよびモデルの複雑さに関する現実的な仮定の下で、タイトな一般化誤差バウンドを導出すること。

提案手法

• ヒルバート空間における最小二乗学習フレームワークにおいて、複数回通過のSGDにミニバッチ処理とテール平均化を適用する。
• バッチ勾配降下法を基準とし、バッチ勾配とSGDの反復値との差を評価する。
• スペクトル計算と作用素ノルムを用いて、正則化された解を正規方程式 Σw* = h によって分析する。
• 確率的集中不等式（例：補題3）を用いて、経験的共分散（Σ̂）と真の共分散（Σ）との乖離を制御する。
• 一様平均化が引き起こす正則化バイアスを回避するため、最終L反復間のテール平均化を導入する。
• トレースノルム Σ^α と (Σ̂ + λ)^{-1} の集中性を用いて、過剰リスクの分解を通じて一般化誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 テール平均化は、非パラメトリックなSGDにおいて一様平均化が引き起こす飽和効果を緩和できるか？
• RQ2 ミニバッチ処理とテール平均化の組み合わせは、一般化性能を劣化させることなく、より大きなステップサイズを許容できるか？
• RQ3 学習誤差を最小化するための、通過回数、バッチサイズ、および平均化戦略の最適なトレードオフは何か？
• RQ4 複数回の通過、ミニバッチ処理、およびテール平均化の組み合わせは、非パラメトリックな設定で最適な学習率を達成できるか？
• RQ5 深層学習やカーネル法におけるテール平均化の実践的成功を反映する理論的バウンドを導出できるか？

主な発見

• SGDの最終L反復におけるテール平均化は、非パラメトリックな設定で最適な収束速度を妨げる一様平均化に起因する飽和効果を回避する。
• ミニバッチ処理とテール平均化の組み合わせにより、一般化性能を維持したままより大きなステップサイズを用いることができ、収束が速くなる。
• 過剰リスクバウンドは、O(γ^α / (b L^{1−α}) + (γL)^{−2(r+1/2)}) とスケーリングされ、α ∈ (0,1] は滑らかさを制御し、b はバッチサイズ、L はテール長、γ はステップサイズである。
• 最適なパrameter選択（例：γL ≃ n^{1/(2r+1+ν)}）により、主項の誤差がバランスされ、対数要因を除いてミニマックス最適なレートが達成される。
• バウンドには γ²L⁵δₙ 項が含まれており、δₙ ≲ exp(−a√n/(γT N(1/γT))) と表され、n が増加するにつれて消える指数的集中性を示している。
• 解析により、飽和効果は完全に決定論的であり、確率的ノイズではなく平均化機構に起因することが判明し、これがテール平均化が最適レートを回復できる理由を説明している。