[論文レビュー] ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding

Hongyi Wang, Zachary Charles+1 more|arXiv (Cornell University)|Jan 28, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用数 43

ひとこと要約

ErasureHeadは近似勾配コードを導入し、遅延ノードを許容することで分散勾配降下をより速く実行し、正確な勾配の精度と速度のトレードオフを行い、PL条件の下で収束保証を提供します。実験では、バニラおよび厳密な勾配コードと比較して顕著な速度向上を達成します。

ABSTRACT

We present ErasureHead, a new approach for distributed gradient descent (GD) that mitigates system delays by employing approximate gradient coding. Gradient coded distributed GD uses redundancy to exactly recover the gradient at each iteration from a subset of compute nodes. ErasureHead instead uses approximate gradient codes to recover an inexact gradient at each iteration, but with higher delay tolerance. Unlike prior work on gradient coding, we provide a performance analysis that combines both delay and convergence guarantees. We establish that down to a small noise floor, ErasureHead converges as quickly as distributed GD and has faster overall runtime under a probabilistic delay model. We conduct extensive experiments on real world datasets and distributed clusters and demonstrate that our method can lead to significant speedups over both standard and gradient coded GD.

研究の動機と目的

• 大規模MLトレーニングの分散勾配降下における遅延ノードの問題を動機付け、対応する。
• 消失を許容する近似勾配コード（AGCs）を用いた実用的なエンドツーエンドの学習手法を提案する。
• ポリヤーク- Lozsiewicz（PL）条件下での理論的収束保証を提供する。
• 確率的な遅延ノードモデルの下でエンドツーエンドの実行時間を解析し、バニラと厳密な勾配コードと比較する。
• 実データセットとクラスターで実証的な速度向上を示す。

提案手法

• 近似勾配コードを分数リピートコード（FRC）に基づいて用い、部分的なワーカの寄与を集約して不完全な勾配g(x)を計算する。
• x_{t+1}=x_t - γ
  77 g(x_t)で学習を行い、g̃は不偏性を保証するスケーリングされた近似勾配（\hat{g}(x)=g(x)/(1-p)）である。
• 確率的な遅延ノードモデルの下でμ-PL、β-滑らかな関数に対する収束保証を導出し、ノイズフロアまで線形収束を示す。
• 未コードGD、厳密な勾配コード（EGC）、AGCを比較する shifted-exponential 遅延モデルの下でエンドツーエンドの実行時間を分析する。
• 複数のデータセットとクラスターでErasureHeadをバニラおよび勾配コード付きGDと比較し、速度向上を報告する。

実験結果

リサーチクエスチョン

• RQ1 遅延ノード遅延における分散勾配降下の収束速度に近似勾配コードはどのように影響を与えるか。
• RQ2 遅延ノードへの耐性、勾配の精度、全体の実行時間の間のトレードオフはErasureHeadでどうなるか。
• RQ3 PL条件下で収束保証を維持しつつ、近似勾配コードは実用的な速度向上を提供するか。
• RQ4 実データセットにおけるErasureHeadのバニラGDおよび厳密勾配コードとの実績はどうか。

主な発見

• ErasureHeadは確率的遅延モデルの下でμ-PL、β-滑らかな関数に対して線形収束速度を小さなノイズフロアまで達成する。
• 提案モデルの下で、エンドツーエンドの実行時間はErasureHeadにとって有利にスケールし、理論上はバニラおよび勾配コード付きGDより最大で log(n) の速度upを達成する。
• 実証的には、近似勾配コードは標準および勾配コード付きGDの両方に対して、データセットとタスクを跨いで実質的な速度向上をもたらす（要旨に記載の通り）。
• 計算ノードの一定割合までの消失を耐えられる一方で、回復された勾配ノイズは小さい。
• 再現性のための公開実装を提供（GitHubリンク）。
• 理論結果は遅延と実行時間のトレードオフを定量化し、厳密な勾配コードより待機時間を減らしたままで競争力のある収束を示す。