[論文レビュー] Near-Optimal Straggler Mitigation for Distributed Gradient Methods

Songze Li, Seyed Mohammadreza Mousavi Kalan+2 more|arXiv (Cornell University)|Oct 27, 2017

Stochastic Gradient Optimization Techniques参考文献 11被引用数 8

ひとこと要約

本稿では、バッチ化されたコラボレーター収集（BCC）方式を提案する。これは、すべてのデータバッチをカバーする部分勾配を収集した時点でマスタが勾配を再構築できるようにすることで、勾配降下法における遅延ノードの影響を軽減する分散型分散計算手法である。BCCは、近似的に最適な回復閾値および通信閾値を達成し、EC2クラスタ上での実行時間の最大85.4％の短縮を実現する。また、最小限の調整で非均質クラスタにも効果的に一般化可能である。

ABSTRACT

Modern learning algorithms use gradient descent updates to train inferential models that best explain data. Scaling these approaches to massive data sizes requires proper distributed gradient descent schemes where distributed worker nodes compute partial gradients based on their partial and local data sets, and send the results to a master node where all the computations are aggregated into a full gradient and the learning model is updated. However, a major performance bottleneck that arises is that some of the worker nodes may run slow. These nodes a.k.a. stragglers can significantly slow down computation as the slowest node may dictate the overall computational time. We propose a distributed computing scheme, called Batched Coupon's Collector (BCC) to alleviate the effect of stragglers in gradient methods. We prove that our BCC scheme is robust to a near optimal number of random stragglers. We also empirically demonstrate that our proposed BCC scheme reduces the run-time by up to 85.4% over Amazon EC2 clusters when compared with other straggler mitigation strategies. We also generalize the proposed BCC scheme to minimize the completion time when implementing gradient descent-based algorithms over heterogeneous worker nodes.

研究の動機と目的

• 遅延ノードが全体の計算時間をボトルネックにする分散勾配降下法における遅延ノード効果を是正すること。
• マスタが待機する必要があるワーカの数（回復閾値）を最小限に抑えつつ、通信負荷を低く保つこと。
• グローバルな調整を必要としない分散型でスケーラブルな方式を設計すること。
• 計算速度および通信速度にばらつきがある非均質なワーカクラスタに対しても、この方式を一般化すること。
• 実際のクラウド環境における既存の遅延ノード軽減戦略と比較して、性能向上を実証的に検証すること。

提案手法

• BCC方式は、学習データセットをサイズrのバッチに分割し、各ワーカにランダムに部分集合のデータポイントを割り当て、部分勾配を計算させる。
• 各ワーカは部分勾配を計算しマスタに送信する。マスタは、すべてのバッチがカバーされた段階で、完全な勾配を再構築できる。
• 回復閾値は理論的に $ K_{\text{BCC}}(r) = \lceil \frac{m}{r} \rceil H_{\lceil \frac{m}{r} \rceil} $ で抑えられ、理論的下限に対し対数的要因の範囲内で近似的に最適である。
• 非均質クラスタでは、ワーカの速度に応じたデータ負荷割り当てを最適化する問題を解くことで一般化される。これにより、期待されるカバー時間の最小化が達成される。
• 一般化されたBCCは、調整なしにランダムなデータ割り当てを採用しており、ワーカが動的に参加または退出する場合でもスケーラブルな動的スケーリングが可能である。
• 本手法は、コラボレーター収集問題の枠組みを活用し、データバッチ全体のカバー過程として勾配再構築をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 与えられた計算負荷 $ r $ に対して、分散勾配降下法で達成可能な最小の回復閾値 $ K^*(r) $ は何か？ また、実用的な方式はその値にどの程度近づけるか？
• RQ2 調整不要の分散型データ割り当て戦略は、分散学習における近似的に最適な遅延ノード耐性を達成できるか？
• RQ3 実際のクラウドクラスタ上での完了時間の観点から、BCC方式は負荷分散戦略や他の遅延ノード対策と比較してどのように差をつけるか？
• RQ4 ワーカの非均質性が勾配計算時間に与える影響は何か？ また、中央集権的な調整なしにその影響を最小限に抑える方法は何か？
• RQ5 一般化されたBCC方式は、ワーカの特性に基づく最適化されたデータ割り当てにより、非均質環境でも近似的に最適なパフォーマンスを達成できるか？

主な発見

• BCC方式は、$ K_{\text{BCC}}(r) = \lceil \frac{m}{r} \rceil H_{\lceil \frac{m}{r} \rceil} $ の回復閾値を達成し、理論的下限 $ K^*(r) \geq \frac{m}{r} $ に対して対数的要因の範囲内で近似的に最適である。
• Amazon EC2クラスタ上では、BCCはベースラインの遅延ノード対策戦略と比較して、実行時間を最大85.4％短縮する。
• 100ワーカを有する非均質クラスタにおいて、一般化されたBCC方式は負荷分散戦略と比較して平均計算時間を29.28％短縮する。
• 通信負荷についても近似的に最適であり、$ L_{\text{BCC}}(r) \leq \lceil L^*(r) \rceil H_{\lceil \frac{m}{r} \rceil} $ が成り立ち、理論的下限に対し対数的要因の範囲内で一致する。
• 一般化されたBCCは、新しいワーカが参加する際の動的で分散型のワークロード調整を可能にし、マスターや他のノードとの調整を必要としない。
• 理論的および数値的結果により、非均質環境におけるランダムなデータ割り当てが、負荷分散戦略をはるかに上回る完了時間の最小化を達成することが確認された。