[論文レビュー] Distributed Mini-Batch SDCA

Martin Takáč, Peter Richtárik+1 more|arXiv (Cornell University)|Jul 29, 2015

Optimization and Search Problems参考文献 19被引用数 36

ひとこと要約

この論文は、正則化された経験的リスク最小化における分散型ミニバッチ確率的双対座標降下法（mSDCA）の洗練された分析を提示し、滑らかな損失関数と十分に分散されたデータが、大規模なミニバッチサイズでも線形並列化スループット向上を可能にすることを示している。分析は、分散データ分割を含む柔軟なサンプリング方式を支持しており、同じ計算コストでCoCoA+よりも優れた収束保証をmSDCAが達成できることを示している。

ABSTRACT

We present an improved analysis of mini-batched stochastic dual coordinate ascent for regularized empirical loss minimization (i.e. SVM and SVM-type objectives). Our analysis allows for flexible sampling schemes, including where data is distribute across machines, and combines a dependence on the smoothness of the loss and/or the data spread (measured through the spectral norm).

研究の動機と目的

• 柔軟なサンプリング方式を用いた分散環境におけるミニバッチ確率的双対座標降下法（mSDCA）の収束分析をより厳密に行う。
• データの分散（スペクトルノルム）の仮定に加えて、損失関数が滑らかである場合にも線形並列化スループット向上が達成可能であることを確立する。
• 全サブセットに一様にサンプリングする必要がない、実際的な分散型サンプリング—すなわち、データが複数のマシンに分割されている状況—におけるmSDCAの分析を行う。
• mSDCAの収束保証をCoCoA+と直接比較し、同じ計算コスト下でmSDCAがより優れた理論的境界を達成することを示す。
• すべての収束保証を双対ギャップに基づくものとし、実際の性能指標であるプライムの最適性の不備を直接反映させる。

提案手法

• 損失関数の滑らかさとデータの分散（スペクトルノルム）を統合した包括的な分析フレームワークを提案し、より厳密な収束境界を導出する。
• 各マシンが1イテレーションあたり b/C 個のサンプルを寄与する分散型サンプリングモデルを導入し、全サブセットに一様にサンプリングする必要を回避する。
• 収束境界のイテレーション複雑度を $\tilde{O}\left(\frac{n}{b} + \frac{n\tilde{\sigma}^2}{b\lambda} + \frac{1}{\lambda} + \frac{\tilde{\sigma}^2}{\lambda^2}\right)$ の形で導出する。ここで $\tilde{\sigma}^2$ はデータの分散と滑らかさを捉える。
• 標準的mSDCAと分散型mSDCAの両方の設定に分析を適用し、$\beta_{\text{dist}}/\beta_{\text{std}} \approx 1$ であることを示し、分散によるコストがほとんどないことを示す。
• 収束指標として双対ギャップを用い、理論的境界が直接的にプライム解の品質を反映することを保証する。
• 同じイテレーションあたりの双対更新回数において、mSDCAの収束速度がCoCoA+を厳密に上回ることを示し、CoCoA+がグループあたりより多くの逐次更新を実行しているにもかかわらず、mSDCAの優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 データの分散（スペクトルノルム）の仮定がなくても、損失関数が滑らかである場合、SDCAにおけるミニバッチ化が滑らかさの恩恵を受けて線形スループット向上を達成できるか？
• RQ2 複数のマシンからサンプリングされる分散型サンプリングは、一様i.i.d.サンプリングと比較して収束にどのように影響するか？
• RQ3 分散システムにおける柔軟で現実的なサンプリング方式下でのmSDCAの理論的収束保証は何か？
• RQ4 同じ計算量（イテレーションあたりの計算量）でmSDCAはCoCoA+を上回る収束速度を示せるか？
• RQ5 mSDCAの分析を、滑らかさとデータの分散の両方の利点を統合できるように拡張可能か？その結果、有効なミニバッチサイズが大幅に拡大できるか？

主な発見

• 本研究では、滑らかな損失関数に対して、mSDCAがスペクトルノルムの仮定がなくても、nの多項式関数までミニバッチサイズを大きくしても線形スループット向上を達成できることを確立した。
• データが十分に分散されている（スペクトルノルムが小さい）場合、mSDCAは滑らかさとデータ構造の両方の利点を組み合わせ、より大きなミニバッチサイズを可能にする。
• 同じ計算予算下で、mSDCAの収束境界はCoCoA+よりも厳密に優れている：$\tilde{O}\left(1 + \frac{\sigma^2}{\lambda}\right)$ 対 $\tilde{O}\left(1 + \frac{\sigma'\tilde{\sigma}^2}{\lambda}\right)$ であり、$\sigma'\tilde{\sigma}^2 \geq \sigma^2$ が成り立つ。
• 数値実験により、16台のマシンまで使用しても、分散型mSDCAは標準的mSDCAと比較して反復回数にほとんど差が生じないことが確認された。
• 通信コストが高い環境では、CoCoA+がH（グループあたりのSDCA更新回数）を大きくすることでmSDCAを上回るが、計算が主な負荷である環境ではmSDCAが依然として優位である。
• news20データセットで b = 10^4 を使用した場合、b = 1 と比較してデータアクセス回数（エポック数）が約1,000倍減少し、反復回数のほぼ線形的削減が達成された。