[論文レビュー] Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization

Jiaxiang Wu, Weidong Huang+2 more|arXiv (Cornell University)|Jun 20, 2018

Distributed and Parallel Computing Systems被引用数 111

ひとこと要約

ECQ-SGDはデータ並列分散最適化における量子化勾配へ蓄積誤差フィードバックを導入し、性能損失なしの勾配圧縮を大幅に達成し、従来の量子化SGD手法よりも収束が速い。

ABSTRACT

Large-scale distributed optimization is of great importance in various applications. For data-parallel based distributed learning, the inter-node gradient communication often becomes the performance bottleneck. In this paper, we propose the error compensated quantized stochastic gradient descent algorithm to improve the training efficiency. Local gradients are quantized to reduce the communication overhead, and accumulated quantization error is utilized to speed up the convergence. Furthermore, we present theoretical analysis on the convergence behaviour, and demonstrate its advantage over competitors. Extensive experiments indicate that our algorithm can compress gradients by a factor of up to two magnitudes without performance degradation.

研究の動機と目的

• データ並列分散最適化におけるノード間通信の削減の必要性を動機づける。
• 蓄積量子化誤差を用いて補償を行うECQ-SGDを提案する。
• ECQ-SGDをQSGDと比較した理論的収束解析を提供する。
• 線形モデルとCNN上でECQ-SGDを実証的に検証し、性能を損なうことなく圧縮を示す。

提案手法

• 制限されたコードブックを持つ無偏な確率的量子化関数 Q を定義し、勾配がどのように量子化されるかを示す。
• ノードごとに蓄積量子化誤差 h_p^(t) を導入し、係数 α を用いた補償ステップを導入する。
• 補償された勾配 tilde{g}_p^(t) = Q(g_p^(t) + alpha h_p^(t)) を量子化する。
• 蓄積誤差 h_p^(t+1) = beta h_p^(t) + (g_p^(t) - tilde{g}_p^(t))。
• 分散更新 w^{(t+1)} = w^{(t)} - η * (1/P) ∑_p tilde{g}_p^(t) を行う。
• ECQ-SGDがQSGDと比較して量子化誤差の寄与を抑えることを示す二次目的関数の収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 量子化勾配を用いながら、ECQ-SGDはフル精度 SGDと同等の収束を達成できるか。
• RQ2 蓄積誤差補償は、従来の量子化SGD手法（例：QSGD、1Bit-SGD）より収束速度と安定性を改善するか。
• RQ3 ハイパーパラメータ α と β は実務的に収束と安定性にどのように影響するか。
• RQ4 大規模GPUクラスタにおける通信コストとスケーラビリティに対するECQ-SGDの影響は何か。

主な発見

• ECQ-SGDは性能劣化なしに勾配を最大で2桁の圧縮が可能である。
• 蓄積誤差補償は誤差境界への量子化誤差の寄与を抑え、ベースライン手法よりも速く安定した収束を生む。
• 線形モデルでは、複数の合成データセットでECQ-SGDは損失値の収束が速く、QSGDより最適解に近づく。
• CIFAR-10 with ResNet-20 での実験は、ECQ-SGDが通信削減を大幅に達成し、精度は同等である。
• 性能モデル化とスケーラビリティ実験は大規模なGPUクラスタで顕著な速度向上を示し、例えば512 GPUsは通常のSGDよりもスループットを大幅に向上させる。