[論文レビュー] TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning

Wei Wen, Cong Xu+5 more|arXiv (Cornell University)|May 22, 2017

Robotics and Automated Systems被引用数 419

ひとこと要約

TernGrad は勾配を三値 (-1, 0, 1) に量子化して分散データ並列トレーニングにおける通信を削減し、収束保証と性能改善のための層ごとの手法を提供する。実験では精度の低下が最小限またはほとんどなく、顕著なスピードアップが示される。

ABSTRACT

High network communication cost for synchronizing gradients and parameters is the well-known bottleneck of distributed training. In this work, we propose TernGrad that uses ternary gradients to accelerate distributed deep learning in data parallelism. Our approach requires only three numerical levels {-1,0,1}, which can aggressively reduce the communication time. We mathematically prove the convergence of TernGrad under the assumption of a bound on gradients. Guided by the bound, we propose layer-wise ternarizing and gradient clipping to improve its convergence. Our experiments show that applying TernGrad on AlexNet does not incur any accuracy loss and can even improve accuracy. The accuracy loss of GoogLeNet induced by TernGrad is less than 2% on average. Finally, a performance model is proposed to study the scalability of TernGrad. Experiments show significant speed gains for various deep neural networks. Our source code is available.

研究の動機と目的

• データ並列深層学習における分散 SGD の通信ボトルネックを動機づけ、対処する。
• フル精度勾配同期を置換する三値勾配量子化法を提案する。
• 収束と安定性を保証する理論的に根拠のある境界と実践的手法を開発する。
• 標準的な DNN で経験的な精度の保持（または向上）を示し、スケーラビリティとスピードアップを測定する。

提案手法

• 勾配の大きさに導かれた Bernoulli ベースのマスキングを用いて勾配を三値に量子化する。
• 三値の値を適応させるために共有スカラー s_t を適用し、無偏りな勾配推定を実現する。
• パラメータ局所化を用いてサーバーサイドのパラメータ同期を量子化された勾配の取得に置換する。
• 収束境界を引き締め、勾配範囲を削減するために層ごとの三値化と勾配クリッピングを導入する。
• 標準的なオンライン勾配条件と勾配境界の下でほぼ確実な収束を示す収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 三値勾配量子化は分布 SGD の収束を保証できるか？
• RQ2 層ごとの三値化と勾配クリッピングは収束と実務的性能にどのように影響するか？
• RQ3 TernGrad を用いた標準的な CNN アーキテクチャで達成可能な精度とスピードアップはどの程度か？
• RQ4 ワーカー数とネットワーク帯域幅の増加に対する TernGrad のスケーリングはどうなるか？

主な発見

• TernGrad は提案された仮定と三値勾配推定器の下で、ほぼ確実に最小値へ収束する。
• 層ごとの三値化と勾配クリッピングは収束境界を引き締め、実践で安定性を向上させる。
• AlexNet は精度の損失なし、あるいは TernGrad で精度が向上することもある。GoogLeNet は平均 top-1 損失が約 ~2% 未満に留まる。
• 実証的な結果は、通信削減による顕著な学習スピードアップを示し、特に通信対計算比が高いネットワークで顕著。
• パフォーマンスモデルは、マルチ-GPUクラスタと異なる帯域幅において顕著なスループット向上を示している。