[論文レビュー] mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting

Jakub Konečný, Jie Liu+2 more|arXiv (Cornell University)|Oct 17, 2014

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、強い凸性を持つ複合関数を最小化するためのミニバッチ版半確率的勾配降下法mS2GDを提案する。分散低減とミニバッチ化を組み合わせることで、収束速度を向上させ、与えられた精度に達するための勾配評価回数に対して線形を超えるスループット向上を実現するとともに、並列処理の効率化も可能である。

ABSTRACT

We propose a mini-batching scheme for improving the theoretical complexity and practical performance of semi-stochastic gradient descent applied to the problem of minimizing a strongly convex composite function represented as the sum of an average of a large number of smooth convex functions, and simple nonsmooth convex function. Our method first performs a deterministic step (computation of the gradient of the objective function at the starting point), followed by a large number of stochastic steps. The process is repeated a few times with the last iterate becoming the new starting point. The novelty of our method is in introduction of mini-batching into the computation of stochastic steps. In each step, instead of choosing a single function, we sample $b$ functions, compute their gradients, and compute the direction based on this. We analyze the complexity of the method and show that the method benefits from two speedup effects. First, we prove that as long as $b$ is below a certain threshold, we can reach predefined accuracy with less overall work than without mini-batching. Second, our mini-batching scheme admits a simple parallel implementation, and hence is suitable for further acceleration by parallelization.

研究の動機と目的

• 大規模最適化における勾配評価コストを低減するためのS2GDアルゴリズムのミニバッチ拡張を開発すること。
• プロキシマル設定におけるミニバッチ化された半確率的勾配降下法の理論的複雑度を分析すること。
• 与えられた精度に達するための勾配評価回数において、ミニバッチ化が線形スケーリングを超えるスピードアップを提供することを実証すること。
• ハイパフォーマンスコンピューティングに適した高効率な並列実装を可能にするためのミニバッチ方式を設計すること。

提案手法

• 初期点で決定的勾配計算を実行し、その後、サイズ $b$ のミニバッチを用いた複数回の確率的ステップを実行する。
• 各反復において、$b$ 個の関数がサンプリングされ、それらの勾配が計算され、前回の反復からの参照点を用いて分散低減された確率的勾配が構築される。
• アルゴリズムはプロキシマル更新ルールを用いる：$ y_{k+1} = \operatorname{prox}_{hR}(y_k - h v_k) $、ここで $ v_k $ はミニバッチによる分散低減勾配推定値である。
• ステップサイズ $ h $ と内部ループ長 $ m $ は、合計作業量を最小化し、線形収束を保証するように最適化される。
• 本手法は、勾配推定におけるバイアス補正を制御する新しいミニバッチ分散低減項 $ \alpha(b) = \frac{n-b}{b(n-1)} $ を導入している。
• 各勾配が独立に計算可能であるため、アルゴリズムは自然に並列化可能である。

実験結果

リサーチクエスチョン

• RQ1 プロキシマル設定において、ミニバッチ化を分散低減確率的勾配法と効果的に組み合わせることで、合計作業量を削減できるか？
• RQ2 与えられた精度に達するための勾配評価回数において、ミニバッチ化が線形スケーリングを超えるスピードアップを提供するか？
• RQ3 ミニバッチ版は収束保証を損なわずに、高効率に並列化可能か？
• RQ4 最適ステップサイズと内部ループ長は、ミニバッチサイズ $ b $ にどのように依存するか？

主な発見

• ミニバッチサイズ $ b $ が特定の閾値未満である限り、固定精度に達するための勾配評価回数において、線形を超えるスピードアップが達成される。
• 理論的解析により、収束率 $ \rho $ は $ b $ の増加に伴い減少し、$ m_*^b $（最適内部ループ長）は $ 1/b $ よりも速く減少することが示され、作業量の削減が裏付けられる。
• $ b=1 $ の場合、収束率は既知の Prox-SVRG のレートに回復し、本手法の先行研究との整合性が検証される。
• 最適ステップサイズ $ h_*^b $ は $ \tilde{h}^b = \sqrt{\left(\frac{1+\rho}{\rho\mu}\right)^2 + \frac{1}{4\mu\alpha(b)L}} - \frac{1+\rho}{\rho\mu} $ として導出され、閾値条件 $ \tilde{h}^b \leq \frac{1}{L} $ を満たす必要がある。
• RCV1における実験では、$ b=8 $ のmS2GDが、S2GDに比べて少ない勾配評価回数で同等の精度に到達し、理想的な $ b $ 倍のスピードアップに近づいている。
• 本手法は実用的な並列化を可能にし、HPC環境におけるクロックタイムの短縮を理論的・実験的に裏付けている。