[論文レビュー] Consistent Bounded-Asynchronous Parameter Servers for Distributed ML

Jinliang Wei, Wei Dai+4 more|arXiv (Cornell University)|Dec 30, 2013

Interconnection Networks and Systems参考文献 10被引用数 6

ひとこと要約

本論文は、分散機械学習における非同期パラメータサーバー向けに、緩和された一貫性モデル（CAP、VAP、CVAP）を提案する。これにより、理論的収束を保証しながら高いスループットを実現する。遅延の上限を設定し、ベクタークロックを用いることで、LDAなどの反復的機械学習アルゴリズムにおいてアルゴリズムの正しさを維持し、32コアまでの小規模クラスタ上でも強力なスケーラビリティを達成する。

ABSTRACT

In distributed ML applications, shared parameters are usually replicated among computing nodes to minimize network overhead. Therefore, proper consistency model must be carefully chosen to ensure algorithm's correctness and provide high throughput. Existing consistency models used in general-purpose databases and modern distributed ML systems are either too loose to guarantee correctness of the ML algorithms or too strict and thus fail to fully exploit the computing power of the underlying distributed system. Many ML algorithms fall into the category of \emph{iterative convergent algorithms} which start from a randomly chosen initial point and converge to optima by repeating iteratively a set of procedures. We've found that many such algorithms are to a bounded amount of inconsistency and still converge correctly. This property allows distributed ML to relax strict consistency models to improve system performance while theoretically guarantees algorithmic correctness. In this paper, we present several relaxed consistency models for asynchronous parallel computation and theoretically prove their algorithmic correctness. The proposed consistency models are implemented in a distributed parameter server and evaluated in the context of a popular ML application: topic modeling.

研究の動機と目的

• 分散機械学習におけるシステムスループットとアルゴリズムの正しさのトレードオフを緩和された一貫性モデルによって解決すること。
• 反復的機械学習アルゴリズムにおける収束保証を損なわずに、高性能な非同期計算を可能にすること。
• 遅延の上限を設定し、実世界の分散システムへの実用的導入を可能にする一貫性モデルの設計。
• トピックモデリング（LDA）を対象として、提案モデルの性能を評価し、クラスタ上での強力なスケーラビリティを示すこと。

提案手法

• 任意のタイミングでの更新を許容するが、ベクタークロックを用いて遅延を上限化する、Clock-bounded Asynchronous Parallel（CAP）を提案する。
• 進捗を追跡し、不一致を上限化するためのベクタークロックを用いる、Vector-based Asynchronous Parallel（VAP）を導入する。
• 一貫性の保証と高いスループットを両立する、より強力なバージョンのConsistent Vector-based Asynchronous Parallel（CVAP）を開発する。
• ネットワークオーバヘッドを低減するため、二段階のキャッシュ階層とメッセージバッチ処理を備えた、Petuum PSにこれらのモデルを実装する。
• テーブルごとに異なる一貫性モデルをモジュラリティを持ってサポートするため、一貫性コントローラーとポリシーに基づくAPIセマンティクスを採用する。
• ネットワーク利用効率を最適化するため、クライアントプッシュ、クライアントプル、サーバープッシュのメッセージングと、優先度ベースのバッチ処理を採用する。

実験結果

リサーチクエスチョン

• RQ1 遅延の上限を設定した緩和された一貫性モデルは、LDAのような分散機械学習アルゴリズムにおいて収束を保証できるか？
• RQ2 厳密なモデル（SSP や順序一貫性）と比較して、上限付き非同期一貫性モデルはスループットと収束速度の点でどのように異なるか？
• RQ3 アルゴリズムの正しさを損なわず、一貫性を緩和することで、システム性能をどの程度向上できるか？
• RQ4 提案されたモデルは、実際のワークロードを想定したリアルなクラスタ上で、効率的にスケーリングできるか？

主な発見

• 提案された一貫性モデル（CAP、VAP、CVAP）は、反復的機械学習アルゴリズムにおける高スループットな非同期計算を可能にするとともに、収束の保証を達成する。
• 8ノードのクラスタ上で最大32コアまで、トピックモデリングワークロードにおいて直線的スケーリングに近いスループット向上を達成する。
• 2,000トピックと11,269ドキュメントを含む20Newsデータセットを用いた実験では、弱い一貫性モデル下でも安定した収束が確認された。
• ベクタークロックと遅延の上限設定により、すべての更新が最終的に確認されることを保証し、非同期性にもかかわらず発散を防ぐ。
• メッセージバッチ処理と二段階のキャッシュ階層により、ネットワークの競合を著しく低減し、レイテンシを隠蔽する。