[論文レビュー] SCOPE: Scalable Composite Optimization for Learning on Spark

Shen-Yi Zhao, Ru Xiang+3 more|arXiv (Cornell University)|Jan 30, 2016

Stochastic Gradient Optimization Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、分散機械学習におけるスケーラビリティを向上させるために、Apache Spark上で動作するスケーラブルな複合最適化手法SCOPEを提案する。分散環境における分散勾配の分散低減と効率的な同期を活用し、線形収束を達成する。実世界のデータセットを用いた実験では、最先端の手法を上回る速度と拡張性を示し、マルチマシンクラスタ上での優れた効率性と超線形スケールアップを実証した。

ABSTRACT

Many machine learning models, such as logistic regression~(LR) and support vector machine~(SVM), can be formulated as composite optimization problems. Recently, many distributed stochastic optimization~(DSO) methods have been proposed to solve the large-scale composite optimization problems, which have shown better performance than traditional batch methods. However, most of these DSO methods are not scalable enough. In this paper, we propose a novel DSO method, called \underline{s}calable \underline{c}omposite \underline{op}timization for l\underline{e}arning~({SCOPE}), and implement it on the fault-tolerant distributed platform \mbox{Spark}. SCOPE is both computation-efficient and communication-efficient. Theoretical analysis shows that SCOPE is convergent with linear convergence rate when the objective function is convex. Furthermore, empirical results on real datasets show that SCOPE can outperform other state-of-the-art distributed learning methods on Spark, including both batch learning methods and DSO methods.

研究の動機と目的

• スパーク上で大規模機械学習を実行する際の、既存の分散確率的最適化（DSO）手法のスケーラビリティ制限を解消すること。
• マスタースレーブ型で、障害に強いスパーク環境において、計算効率と通信効率の両方を満たす手法を設計すること。
• 分散環境下で強い凸性を満たす複合最適化問題に対して線形収束を達成すること。
• 実世界のデータセットにおいて、既存のバッチ法およびDSO手法と比較して収束速度と拡張性に優れた性能を達成すること。

提案手法

• SCOPEは、パラメーターベクトルをマスタに保持し、データをワーカーに分散配置するマスタースレーブアーキテクチャを採用する。
• SVRGにインspiredされた分散低減型確率的最適化フレームワークを用い、勾配の分散を低減することで線形収束を可能にする。
• SparkのMapReduceに類似したバッチ同期並列（BSP）モデルを用いた同期更新により、通信オーバーヘッドを最小限に抑える。
• 各ワーカーは自身のデータパーティション上で局所的勾配を計算し、それらをマスタに送信する。マスタは更新を集約し、グローバルパラメータを同期する。
• 通信頻度の低減と局所計算の活用により、同期コストを最小限に抑えるようにアルゴリズムを設計する。
• Scalaで実装され、Spark 1.5.2上で動作し、複合最適化問題のプライマルおよびデュアル定式化の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 スパークベースの環境において、分散最適化手法が複合最適化問題に対して線形収束を達成できるか？
• RQ2 実データセット上での収束速度と拡張性において、SCOPEは既存のバッチ法およびDSO手法と比較してどのように差をつけるか？
• RQ3 マルチマシンスパーククラスタ上でのSCOPEの通信効率と計算効率はどの程度か？
• RQ4 通信の低減とキャッシュ利用効率の向上により、SCOPEは超線形スケールアップを達成するか？
• RQ5 CoCoA+、Splash、MLlibの分散L-BFGSなど、最先端の手法と比較してSCOPEの性能はどの程度か？

主な発見

• 理論的証明と実験的検証の両方で、SCOPEは強い凸問題に対して線形収束を達成することが確認された。
• 4つの実世界データセットすべてにおいて、SCOPEは5回未満の外ループ更新で収束し、他の手法を著しく上回った。
• MNIST-8Mデータセットにおいて、SCOPEは超線形スケールアップを示した。32台のマシンで線形スケーリングを上回る高速な学習が達成された。
• Splashとは異なり、発散を伴わず安定した収束を示した。これは、SCOPEの分散低減特性が裏付けられたものである。
• CoCoA+、CoCoA、Splash、MLlibのL-BFGS、LibLinearといった最先端のベースラインを、収束速度と拡張性の両面で上回った。