[論文レビュー] Splash: User-friendly Programming Interface for Parallelizing Stochastic Algorithms

Yuchen Zhang, Michael I. Jordan|arXiv (Cornell University)|Jun 24, 2015

Stochastic Gradient Optimization Techniques参考文献 45被引用数 17

ひとこと要約

Splashは、軽量なインタフェースと通信効率の高い実行エンジンを用いて、分散システム上でステochasticアルゴリズムを自動的に並列化する使いやすいプログラミングフレームワークである。並列確率的勾配降下法における最適な収束速度を達成し、ロジスティック回帰、協調フィルタリング、トピックモデリングといった実世界の機械学習ワークロードで、桁違いの高速化を実現している。

ABSTRACT

Stochastic algorithms are efficient approaches to solving machine learning and optimization problems. In this paper, we propose a general framework called Splash for parallelizing stochastic algorithms on multi-node distributed systems. Splash consists of a programming interface and an execution engine. Using the programming interface, the user develops sequential stochastic algorithms without concerning any detail about distributed computing. The algorithm is then automatically parallelized by a communication-efficient execution engine. We provide theoretical justifications on the optimal rate of convergence for parallelizing stochastic gradient descent. Splash is built on top of Apache Spark. The real-data experiments on logistic regression, collaborative filtering and topic modeling verify that Splash yields order-of-magnitude speedup over single-thread stochastic algorithms and over state-of-the-art implementations on Spark.

研究の動機と目的

• 分散環境におけるステochasticアルゴリズムの手動並列化の課題に取り組むこと。これは複雑でエラーを起こしやすい。
• ユーザーが分散に関する懸念を考慮せずに、順次実行用のステochasticアルゴリズムを記述できるプログラミングインタフェースを設計すること。
• ノード間の通信を最小限に抑えて、これらのアルゴリズムを自動的に並列化する実行エンジンを開発すること。
• 滑らかで強く凸である条件の下で、Splashが並列確率的勾配降下法に対して最適な収束速度を達成することを理論的に証明すること。
• 実世界の機械学習タスクにおけるSplashの性能が、シングルスレッド実装および最先端のSparkベースのシステムを上回ることを実験的に検証すること。

提案手法

• フレームワークは、ユーザーが個々のデータサンプルまたは重み付きデータサンプルに基づいてモデルパラメータを段階的に更新する処理関数を実装するプログラミングインタフェースを採用している。
• システムは重み付きサンプルをサポートしており、同じアルゴリズムを順次実行と分散実行の両方の文脈で再利用可能である。
• 実行エンジンは分散平均化と再重み付けを用いて、局所的更新のバイアスを低減し、グローバルな収束精度を保証する。
• 再重み付けにより、各ワーカーが全データセットサイズに等しい合計重みを持つデータを処理するようになり、サブセットのサンプリングによるバイアスを最小限に抑える。
• システムは、データおよびクラスタの特性に基づいて最適な並列度を動的に同定する。
• 理論的分析により、強い凸性および滑らかさの仮定の下で、Splashが並列SGDに対して最適な収束速度を達成することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 汎用フレームワークとして、最小限のユーザー作業と通信オーバーヘッドでステochasticアルゴリズムを自動的に並列化できるか？
• RQ2 Splashによる自動並列化は、順次ステochasticアルゴリズムの統計的収束特性を保持するか？
• RQ3 Splashは分散環境下で、並列確率的勾配降下法に対して最適な収束速度を達成できるか？
• RQ4 Splashの性能は、シングルスレッド実装および既存のSparkベースのシステムと比較してどうか？
• RQ5 データの重み付けと再重み付けは、分散ステochastic最適化におけるバイアス低減と収束精度にどのような影響を与えるか？

主な発見

• Splashは、ロジスティック回帰、協調フィルタリング、トピックモデリングのワークロードにおいて、シングルスレッドのステochasticアルゴリズムよりも桁違いの高速化を達成している。
• フレームワークは、速度および収束効率の両面で、最先端のSparkベースの実装を上回っている。
• 理論的分析により、滑らかで強く凸である条件の下で、Splashが並列確率的勾配降下法に対して最適な収束速度を達成することが確認された。
• 再重み付け機構は、局所的データのサンプリングによるバイアスを効果的に低減し、グローバルパラメータ推定の正確性を保証する。
• システムは、ユーザーの設定を必要とせず、最適な並列度を自動的に決定する。
• 実験結果から、Splashはバッチ処理と遅延同期を活用して通信オーバーヘッドを顕著に削減しながらも、高い収束精度を維持していることが示された。