[論文レビュー] GraphLab: A New Framework For Parallel Machine Learning

Yucheng Low, Joseph E. Gonzalez+4 more|arXiv (Cornell University)|Aug 9, 2014

Advanced Graph Neural Networks参考文献 15被引用数 438

ひとこと要約

この論文では、機械学習ワークロードに特化して設計された高水準な並列コンピューティングフレームワーク、GraphLabを紹介する。GraphLabは、データ一貫性の保証と高いパフォーマンスを提供することで、疎な依存関係を持つ非同期反復アルゴリズムの効率的な実装を可能にし、ベイズ推論、Lasso、圧縮センシングなどの大規模な機械学習タスクにおいて、従来の抽象化手法（例：MapReduce）を上回る性能を発揮する。

ABSTRACT

Designing and implementing efficient, provably correct parallel machine learning (ML) algorithms is challenging. Existing high-level parallel abstractions like MapReduce are insufficiently expressive while low-level tools like MPI and Pthreads leave ML experts repeatedly solving the same design challenges. By targeting common patterns in ML, we developed GraphLab, which improves upon abstractions like MapReduce by compactly expressing asynchronous iterative algorithms with sparse computational dependencies while ensuring data consistency and achieving a high degree of parallel performance. We demonstrate the expressiveness of the GraphLab framework by designing and implementing parallel versions of belief propagation, Gibbs sampling, Co-EM, Lasso and Compressed Sensing. We show that using GraphLab we can achieve excellent parallel performance on large scale real-world problems.

研究の動機と目的

• 効率的で正しく動作する並列機械学習アルゴリズムの設計および実装の難しさに対処すること。
• 反復的機械学習ワークロードに不適切な表現力を持つ既存の抽象化（例：MapReduce）の制限を克服すること。
• MPI や Pthreads のような低レベルツールよりも高水準な抽象化を提供することで、重複した実装作業を減らすこと。
• 疎で反復的な機械学習アルゴリズムを、データ一貫性の保証を伴って高パフォーマンスで並列実行できること。
• 実世界のデータセットを用いた主要な機械学習アルゴリズムの効率的実装を通じて、フレームワークの有効性を示すこと。

提案手法

• GraphLabは、データの変更によって計算がトリガーされるデータ駆動型非同期計算モデルを導入し、疎な依存関係の効率的処理を可能にする。
• フレームワークは、各ノードが局所状態を保持し、受信したメッセージに基づいてそれを更新する頂点中心のプログラミングモデルを採用する。
• 自動同期を用いた非同期実行をサポートし、データ一貫性を保証する。これにより、手動でのロックや調整の必要がなくなる。
• システムは、グラフ全体に更新を効率的に伝播させるプッシュベースのメッセージ伝達メカニズムを採用する。
• GraphLabは高水準APIを提供し、機械学習の専門家が複雑な反復アルゴリズムを簡潔に記述できるようにし、低レベルの並列化の懸念を抽象化する。
• フレームワークは、機械学習で一般的な大規模で疎なデータ構造を最適化しており、通信およびメモリのオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 MapReduce よりも反復的機械学習アルゴリズムを効果的に表現できる高水準プログラミングモデルを設計できるか？
• RQ2 機械学習ワークロードにおいて、非同期で分散処理される環境でデータ一貫性をどのように確保できるか？
• RQ3 実世界の機械学習問題において、実装を簡素化しつつ、高パフォーマンスな並列実行を達成できるフレームワークは可能か？
• RQ4 Lasso やベイズ推論などの主要な機械学習アルゴリズムにおいて、従来のフレームワークに比べてどの程度のパフォーマンス向上が達成できるか？
• RQ5 機械学習で一般的に見られる大規模で疎なデータセットに対して、このフレームワークはどの程度スケーリングするか？

主な発見

• GraphLabは、ベイズ推論、Gibbsサンプリング、Co-EMといった複雑な反復的機械学習アルゴリズムを、低レベルのフレームワークに比べて著しく少ないコード量で実装可能である。
• フレームワークは、大規模な実世界のデータセットにおいて高い並列パフォーマンスを発揮し、複数のコアおよびマシンにわたる強力なスケーラビリティを示している。
• 反復的アルゴリズムにおいて、MapReduceベースの実装に比べて実行時間およびリソース利用効率の両面で優れた性能を発揮している。
• 機械学習ワークロードで一般的な疎な計算的依存関係の処理において、高い効率性を達成している。
• データ一貫性の保証を伴う非同期実行モデルは、同期型の代替手法と比較して、アイドルタイムを削減し、スループットを向上させている。
• 実験的結果から、Lasso および圧縮センシングのGraphLab実装は、大規模データセットにおいて効果的にスケーリングされ、競争力のあるパフォーマンスを達成していることが示された。