[論文レビュー] Sparsified SGD with Memory

Sebastian U. Stich, Jean-Baptiste Cordonnier+1 more|arXiv (Cornell University)|Sep 20, 2018

Stochastic Gradient Optimization Techniques被引用数 233

ひとこと要約

本論文は、k-スパース化と誤差補償メモリを備えた SGD を分析し、 vanilla SGD と同じ収束速度で収束しつつ、通信を大幅に削減することを証明する。

ABSTRACT

Huge scale machine learning problems are nowadays tackled by distributed optimization algorithms, i.e. algorithms that leverage the compute power of many devices for training. The communication overhead is a key bottleneck that hinders perfect scalability. Various recent works proposed to use quantization or sparsification techniques to reduce the amount of data that needs to be communicated, for instance by only sending the most significant entries of the stochastic gradient (top-k sparsification). Whilst such schemes showed very promising performance in practice, they have eluded theoretical analysis so far. In this work we analyze Stochastic Gradient Descent (SGD) with k-sparsification or compression (for instance top-k or random-k) and show that this scheme converges at the same rate as vanilla SGD when equipped with error compensation (keeping track of accumulated errors in memory). That is, communication can be reduced by a factor of the dimension of the problem (sometimes even more) whilst still converging at the same rate. We present numerical experiments to illustrate the theoretical findings and the better scalability for distributed applications.

研究の動機と目的

• 大規模学習のための分散 SGD における通信削減を動機づける。
• スパース化された更新を伴うメモリベースの誤差補償メカニズムを導入する。
• k-収束演算子の下でメモリを用いた SGD の収束を証明する。
• Top-k および rand-k のスパース化が vanilla SGD の収束速度に匹敵できることを示す。
• マルチコア環境での実験を通じて実用的なスケーラビリティを示す。

提案手法

• 通信される更新を削減する k-収束圧縮演算子を定義する。
• 抑制された勾配情報を蓄積するメモリ m_t を導入し、次の反復で注入する。
• g_t = comp_k(m_t + eta_t ∇f_i_t(x_t)) およびメモリ更新 m_{t+1} = m_t + eta_t ∇f_i_t(x_t) - g_t を用いた Mem-SGD を定式化する。
• 特定のステップサイズ eta_t = 8 / (μ(a+t)) に対する平均化イテレート x̄_T の収束境界を証明する。
• T = Ω(d/k * sqrt(κ)) のとき、κ = L/μ であるとき、本手法は vanilla SGD と同じ速度を達成することを示す。
• 任意で、マルチコア環境の共有メモリを用いた並列 Mem-SGD 変種へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 k-スパース化とメモリを用いた SGD は vanilla SGD の収束速度を保持するか？
• RQ2 トップ-k および rand-k 演算子の下で、メモリ補償は分散と収束にどう影響するか？
• RQ3 圧縮レベル k が収束と通信に与える理論的・実践的影響は何か？
• RQ4 Mem-SGD はレートを犠牲にすることなく並列・共有メモリ環境でスケールできるか？

主な発見

• 適切なステップサイズの下で、0<k≤d の下で Mem-SGD は vanilla SGD と同じ速度で収束する。
• 収束速度式には d^2/k^2 および d^3/k^3 に比例する項が含まれるが、適切な平均化により速度は SGD に一致する。
• トップ-k スパース化は順次実験では一般に rand-k よりも優れており、通信効率を顕著に改善する。
• 並列 Mem-SGD はマルチコア実験で線形スピードアップを達成し、通信を削減しつつ収束を維持する。
• 経験的結果は、類似の精度で Mem-SGD が QSGD より桁違いに少ないビット数を送信することを示す。
• 密データの場合、トップ-1 スパース化は SGD と比較して通信を約 10^3 倍削減する。疎データの場合、トップ-10 は約 10 倍の削減をもたらす。