[論文レビュー] Communication-Computation Efficient Gradient Coding

Min Ye, Emmanuel Abbé|arXiv (Cornell University)|Feb 9, 2018

Stochastic Gradient Optimization Techniques被引用数 73

ひとこと要約

本論文は、勾配和の計算における計算負荷、ストラグラー耐性、通信コストの3要素間のトレードオフを導入し、与えられた条件下で正確な回復を実現する最適なトレードオフを達成する再帰的多項式コーディング方式を提示する。

ABSTRACT

This paper develops coding techniques to reduce the running time of distributed learning tasks. It characterizes the fundamental tradeoff to compute gradients (and more generally vector summations) in terms of three parameters: computation load, straggler tolerance and communication cost. It further gives an explicit coding scheme that achieves the optimal tradeoff based on recursive polynomial constructions, coding both across data subsets and vector components. As a result, the proposed scheme allows to minimize the running time for gradient computations. Implementations are made on Amazon EC2 clusters using Python with mpi4py package. Results show that the proposed scheme maintains the same generalization error while reducing the running time by $32\%$ compared to uncoded schemes and $23\%$ compared to prior coded schemes focusing only on stragglers (Tandon et al., ICML 2017).

研究の動機と目的

• ストラグラーの存在と高い通信コストの中で、分散勾配計算を加速する必要性を動機づける。
• 計算負荷、ストラグラー耐性、通信削減の3パラメータ間のトレードオフを定式化する。
• 正確な勾配回復を可能にする実現可能な勾配コーディングスキームの条件を導出する。
• ヴァンダーモンド行列を活用した再帰的多項式構成を提案し、トレードオフを達成する。
• Amazon EC2での実験を通じて実用的な有効性を示し、実行時間の短縮を示す。

提案手法

• d/k ≥ (s+m)/n となる3パラメータ可実現領域 (d, s, m) を定義し、ワーカーによる線形結合を目指す。
• 割り当てられた部分勾配から各ワーカーの出力を生成する再帰多項式を用いたコーディング方式を構築する。
• 勾配座標をmグループに分割して送信次元を削減する。
• 設計された特性を持つ(n-s)×nのヴァンダーモンド様行列Vと(mn)×(n-s)の行列Bを用い、任意のn−sワーカーから和勾配を正確に回復できるようにする。
• 各ワーカーの送信を f_i(g_i, g_{i⊕1}, ..., g_{i⊕(d-1)}) と表現し、f_i を線形とすることで、g_1+...+g_n がサイズ n−s の任意の部分集合から回復可能であることを保証する。
• 数値安定性のための theta パラメータの指定を含む、Bと送信ベクトルを計算する効率的な実装戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 分散勾配コーディングにおける計算負荷、ストラグラー耐性、通信コストの間の根本的なトレードオフは何か。
• RQ2 線形コーディング方式で、全勾配の最適回復をワーカーのサブセットから達成できるか。
• RQ3 再帰的多項式構成は、回復可能性を保ちつつ送信勾配の次元を削減できるか。
• RQ4 ヴァンダーモンドベースの構成と再帰的多項式設計の数値安定性は、実現可能な領域にどう影響するか。
• RQ5 提案スキームは、実世界の分散システムで一般化性能を犠牲にせず、実用的な実行時間の改善をもたらすか。

主な発見

• 本論文は3次元のトレードオフを確立する：d/k ≥ (s+m)/n（および n=k の場合は d ≥ s+m に等価）。
• 再帰的多項式に基づく Explicitなコーディング方式は、線形な f_i 関数でトレードオフを達成する。
• 勾配座標を m グループに分割することで、送信次元を per-worker で l/(dn−s) に削減する（適切な可除性仮定の下）。
• ヴァンダーモンドベースの構成と再帰的多項式設計により、数値安定性の制約を前提とする範囲で、任意の n−s ワーカーから正確な勾配回復が可能となる。
• 本手法は、実データセット（Amazon Employee Access/Kaggle）での一般化誤差を同等に保ちつつ、実験で uncoded スキームより実行時間を32%短縮、従来のコーディングスキームより23%短縮を達成している。