[論文レビュー] Accelerated Mini-Batch Stochastic Dual Coordinate Ascent

Shai Shalev‐Shwartz, Tong Zhang|arXiv (Cornell University)|May 12, 2013

Stochastic Gradient Optimization Techniques参考文献 27被引用数 61

ひとこと要約

本稿では、正則化された経験的リスク最小化のための高速収束を達成するために、ミニバッチ最適化とネステロフの加速を組み合わせた、新しいアルゴリズムである加速型ミニバッチ確率的双対座標乗法（ASDCA）を提案する。収束速度の線形レートを $ O\big(\big(n + \frac{1}{\theta \nu}\big)\text{log}(1/\epsilon)\big) $ として理論的に証明しており、ここで $ \nu = \lambda\gamma $ である。これは、標準的なSDCAよりも著しく向上し、加速手法の最良レートに一致する。

ABSTRACT

Stochastic dual coordinate ascent (SDCA) is an effective technique for solving regularized loss minimization problems in machine learning. This paper considers an extension of SDCA under the mini-batch setting that is often used in practice. Our main contribution is to introduce an accelerated mini-batch version of SDCA and prove a fast convergence rate for this method. We discuss an implementation of our method over a parallel computing system, and compare the results to both the vanilla stochastic dual coordinate ascent and to the accelerated deterministic gradient descent method of \cite{nesterov2007gradient}.

研究の動機と目的

• 大規模な機械学習問題における収束速度の向上を図る、ミニバッチ確率的双対座標乗法（SDCA）の加速版を開発すること。
• ミニバッチ手法の効率性と、加速勾配法の高速収束性の間のギャップを、双対座標乗法の枠組み内で埋めること。
• 滑らかで強く凸である条件の下で、提案手法の収束速度を理論的に分析すること。
• ミニバッチを用いた並列および分散コンピューティング環境における実用的性能向上を示すこと。

提案手法

• Nesterovの加速にインspiredされたモーメンタムベースの更新ルールを用いて、各イテレーションでランダムに選択された $ m $ 個の双対変数のミニバッチを更新する、新しいアルゴリズム「加速型ミニバッチSDCA（ASDCA）」を提案する。
• 3段階の更新メカニズムを導入する：(1) モーメンタムに基づく双対変数の更新、(2) インデックスのミニバッチをサンプリング、(3) モーメンタム点からの勾配情報を使って、選択されたインデックスの双対変数を更新する。
• 双対目的関数 $ D(\alpha) = \frac{1}{n}\sum_{i=1}^{n} -\phi_i^*(-\alpha_i) - g^*(\frac{1}{n}\sum_{i=1}^{n} \alpha_i) $ を使用する。ここで $ \phi_i^* $ および $ g^* $ は、元の関数の凸共役である。
• 収束の証明にリャプノフ関数を用い、プライマルおよび双対の進捗項を1つのポテンシャル関数に統合し、各イテレーションでその値が減少することを示す。
• 収束を保証するためのステップサイズ $ \theta $ とミニバッチサイズ $ m $ に対する十分条件を導出する。$ \theta \leq \frac{1}{4}\min\left\{1, \sqrt{\frac{\gamma\lambda n}{m}}, \gamma\lambda n, \left(\frac{(\gamma\lambda n)^2}{4m}\right)^{1/3}\right\} $ を満たす必要がある。
• 双対ギャップの期待値の減少を分析し、プライマルおよび双対の進捗の合計が $ 1 - \frac{\theta m}{n} $ のレートで幾何的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 双対座標乗法の文脈において、ネステロフの加速技術をミニバッチ設定に成功裏に適応できるか？
• RQ2 提案された加速型ミニバッチSDCAは、標準的なSDCAおよびvanillaミニバッチSDCAよりも高速な収束速度を達成するか？
• RQ3 加速手法の収束を保証するためのステップサイズ $ \theta $ およびミニバッチサイズ $ m $ の理論的条件は何か？
• RQ4 ASDCAの収束速度は、問題の条件数に依存する点で、加速勾配降下法（AGD）および標準的なSDCAと比較してどうなるか？
• RQ5 このアルゴリズムは効率的に並列化可能か？分散環境における通信と計算のトレードオフは何か？

主な発見

• 提案されたASDCAアルゴリズムは、$ O\big(\big(n + \frac{1}{\theta \nu}\big)\text{log}(1/\epsilon)\big) $ の線形収束速度を達成し、ここで $ \nu = \lambda\gamma $ である。これは、加速手法の最良レートに一致する。
• ASDCAの収束速度は、標準的なSDCA（$ O\big(\big(n + \frac{1}{\lambda\gamma}\big)\text{log}(1/\epsilon)\big) $）よりも向上しており、モーメンタムによる加速のおかげである。
• 特に $ m $ が大きい場合、ASDCAはvanillaミニバッチSDCAよりも高速な収束速度を達成する。これは加速メカニズムによるものである。
• 理論的分析により、期待される双対ギャップが $ 1 - \frac{\theta m}{n} $ のレートで幾何的に減少することが示され、適切なパrameter選択のもとで高速収束が保証される。
• 並列および分散システムにおいて、この手法が有効であることが示された。ミニバッチ化により通信のオーバーヘッドが低減され、計算効率が向上する。
• 標準的な仮定のもとで収束保証が成り立つ：$ g(x) = \frac{\lambda}{2}\|x\|^2 $ および各 $ \phi_i $ が $ \gamma $-滑らかである。これにより、高速収束を実現する強凸性と滑らかさが保証される。