[論文レビュー] ASAP: Asynchronous Approximate Data-Parallel Computation

Asim Kadav, Erik Kruus|arXiv (Cornell University)|Dec 27, 2016

Parallel Computing and Optimization Techniques参考文献 46被引用数 4

ひとこと要約

ASAP は、分散機械学習における同期と通信のオーバーヘッドを低減するために、確率的 reduce と NOTIFY-ACK メカニズムを用いた非同期的かつ近似計算可能なデータ並列計算モデルを導入する。同期的 all-reduce と同等の収束結果を保証しながら、収束速度を 2–10× に向上させ、ネットワークコストを最大 10× まで低減する。

ABSTRACT

Emerging workloads, such as graph processing and machine learning are approximate because of the scale of data involved and the stochastic nature of the underlying algorithms. These algorithms are often distributed over multiple machines using bulk-synchronous processing (BSP) or other synchronous processing paradigms such as map-reduce. However, data parallel processing primitives such as repeated barrier and reduce operations introduce high synchronization overheads. Hence, many existing data-processing platforms use asynchrony and staleness to improve data-parallel job performance. Often, these systems simply change the synchronous communication to asynchronous between the worker nodes in the cluster. This improves the throughput of data processing but results in poor accuracy of the final output since different workers may progress at different speeds and process inconsistent intermediate outputs. In this paper, we present ASAP, a model that provides asynchronous and approximate processing semantics for data-parallel computation. ASAP provides fine-grained worker synchronization using NOTIFY-ACK semantics that allows independent workers to run asynchronously. ASAP also provides stochastic reduce that provides approximate but guaranteed convergence to the same result as an aggregated all-reduce. In our results, we show that ASAP can reduce synchronization costs and provides 2-10X speedups in convergence and up to 10X savings in network costs for distributed machine learning applications and provides strong convergence guarantees.

研究の動機と目的

• データ並列機械学習およびグラフ処理ワークロードにおける高い同期コストと通信コストを低減すること。
• 収束保証を損なわずに非同期的かつ近似計算可能な計算を可能にすること。
• 反復的かつ収束性のあるアルゴリズムにおけるネットワークおよび CPU オーバーヘッドを、厳密な同期を緩和することで低減すること。
• 開発者に、パフォーマンスと精度の間のチューナブルなトレードオフと、証明可能な収束境界を提供すること。

提案手法

• スパース拡張グラフを用いて選択されたワーカーのサブセットを用いて集約を実行するスパースな reduce プリミティブ「確率的 reduce」を導入する。
• 粗いグリッドバリアに代わって、細粒度で非同期的なワーカーの調整を可能にする NOTIFY-ACK メカニズムを採用する。
• 公平な影響力と収束を保証するため、スパース拡張グラフから導出される双方向確率的通信行列 P を使用する。
• 更新プロセスを、行列の累乗を通じてネットワークに伝播する重み付き勾配の和としてモデル化する：w_t = -∑_{k=0}^{t-1} η_k P^{t-k} g_k。
• 通信トポロジーの収束速度を定量化・最適化するために、スペクトルギャップ (1 - σ₂(P)) を活用する。
• 情報の拡散が速く、収束が早いことを保証するため、大きなスペクトルギャップを持つ通信グラフを構築する。

実験結果

リサーチクエスチョン

• RQ1 非同期的かつ近似計算可能なデータ並列計算は、正しさを保ちつつ、同期的メソッドよりも速やかに収束を達成できるか？
• RQ2 最終的なモデル精度を損なわず、分散機械学習における通信および同期のオーバーヘッドをどのように低減できるか？
• RQ3 近似 reduce 操作における収束を保証するネットワークトポロジーの特性（例：スペクトルギャップ）は何か？
• RQ4 スパース拡張グラフを用いた確率的 reduce は、all-reduce と同等の収束保証を維持できるか？
• RQ5 NOTIFY-ACK 協調方式は、従来のバリア同期と比較してどのようにパフォーマンスを向上させるか？

主な発見

• ASAP は、グローバルバリアを細粒度な NOTIFY-ACK 協調に置き換えることで、同期コストを低減し、ワーカーの独立性を向上させる。
• スパース拡張グラフを用いた確率的 reduce により、ネットワーク通信コストを最大 10× 割り引くことが可能になる。
• 分散機械学習ワークロードにおいて、同期的 all-reduce と比較して、収束時間に 2–10× の高速化を達成する。
• 通信グラフが双方向確率的であり、かつ大きなスペクトルギャップを持つ限り、all-reduce と同等の結果に収束することが証明可能である。
• 確率的 reduce 演算子の数学的性質のおかげで、非同期性と遅延を伴っても、ASAP を使用するシステムは強い一貫性と正確性を維持する。
• 通信行列 P のスペクトルギャップ (1 - σ₂(P)) は、収束速度の主要因であり、より大きなギャップはより速い収束を可能にする。