[論文レビュー] Graph Partitioning via Parallel Submodular Approximation to Accelerate Distributed Machine Learning

Mu Li, Dave G. Andersen+1 more|arXiv (Cornell University)|May 18, 2015

Graph Theory and Algorithms参考文献 34被引用数 9

ひとこと要約

この論文では、分散機械学習におけるマシン間通信を最小限に抑えることで高速化を実現する、グラフ分割のための並列サブモジュラー近似アルゴリズムParsaを提案する。データおよびパラメータ配置をグラフ分割問題としてモデル化し、効率的なサブモジュラー最適化を用いることで、Parsaはネットワークトラフィックを90％削減し、CTRb（非ゼロ要素が100億個）のような大規模データセット上で学習を1.6倍高速化する。

ABSTRACT

Distributed computing excels at processing large scale data, but the communication cost for synchronizing the shared parameters may slow down the overall performance. Fortunately, the interactions between parameter and data in many problems are sparse, which admits efficient partition in order to reduce the communication overhead. In this paper, we formulate data placement as a graph partitioning problem. We propose a distributed partitioning algorithm. We give both theoretical guarantees and a highly efficient implementation. We also provide a highly efficient implementation of the algorithm and demonstrate its promising results on both text datasets and social networks. We show that the proposed algorithm leads to 1.6x speedup of a state-of-the-start distributed machine learning system by eliminating 90\% of the network communication.

研究の動機と目的

• マシン間で共有パラメータの頻繁な同期が原因で生じる分散機械学習における通信ボトル neck を解消すること。
• データおよびパラメータ配置の最適化を通じて、大規模な学習システムにおけるマシン間通信のオーバーヘッドを低減すること。
• 従来の手法（METIS や PaToH など）を上回るスケーラビリティ、効率性、理論的裏付けを備えたパーティショニングアルゴリズムを設計すること。
• マシン間のデータ移動を最小限に抑えることで、分散推論の収束を速め、遅延を低減すること。
• 数十億の非ゼロ要素を持つ実世界のテキストおよびソーシャルネットワークデータセットにおいて、実用的効果を示すこと。

提案手法

• 通信コストを最小化するため、データおよびパラメータ配置を頂点カットによるグラフ分割問題として定式化する。
• サブモジュラー関数の性質を活用した近似保証を得るために、反復的に頂点をパーティションに割り当てる並列サブモジュラー近似を用いる。
• 二重リンクリストデータ構造を実装することで、k 個のパーティションと |E| 条の辺を想定した O(k|E|) の時間計算量を達成する。
• サンプリング、スマートな初期化、並列化技術を適用し、パーティション品質と実行時間効率を向上させる。
• パラメータサーバーフレームワークにParsaを統合し、ℓ₁正則化ロジスティック回帰のための最先端ソルバー（DBPG）を高速化する。
• 実用的な分散学習システムに適合する最大τ遅延一貫性モデルを採用し、同期のオーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 並列サブモジュラー近似アルゴリズムは、分散機械学習のためのグラフ分割において、理論的保証と実用的効率の両方を達成できるか？
• RQ2 大規模データセットにおいて、METIS や PaToH、Zoltan といった既存のパーティショニングツールと比較して、Parsaの通信コストと実行時間はどのように異なるか？
• RQ3 Parsaは実世界の応用において、マシン間通信をどれほど低減し、分散学習を加速できるか？
• RQ4 特にスパースな実世界のグラフにおいて、マシン数やデータサイズの増加に伴い、Parsaはどのようにスケーリングするか？
• RQ5 初期情報が限られている状況でも、Parsaは過度な並列化に対し、高いパーティション品質を維持できるか？

主な発見

• CTRbデータセットにおけるℓ₁正則化ロジスティック回帰において、Parsaはマシン間通信を4.23TBから0.32TBにまで90％削減した。
• 16台のマシンで学習時間を1.43時間から0.91時間に短縮し、合計で1.6倍の高速化を達成した。
• CTRbデータセット（非ゼロ要素100億個）をわずか4分でパーティショニングし、高い実行時間効率を示した。
• パーティショニング後、局所的（マシン内）通信の割合が6％から92％に上昇し、データローカリティが著しく向上した。
• テキストおよびソーシャルネットワークデータセットにおいて、METIS や PaToH、Zoltan といった最先端ツールと同等またはそれ以上のパーティション品質と実行時間性能を達成した。
• 4から64ワーカーへのスケーリングにおいても、一貫した初期化とスパースなテール頂点の競合により、結果の品質が僅か5％低下するにとどまり、高いパーティション品質を維持した。