[論文レビュー] A Double Residual Compression Algorithm for Efficient Distributed Learning

Xiaorui Liu, Li Yao+2 more|arXiv (Cornell University)|Oct 16, 2019

Stochastic Gradient Optimization Techniques参考文献 30被引用数 14

ひとこと要約

本稿では、分散確率的勾配降下法における勾配とモデルパラメータの両方を同時に圧縮することで、通信コストを95%以上削減しながらも、収束速度とモデル精度を維持する、DOREと呼ばれる二重リジッド圧縮アルゴリズムを提案する。この手法は、勾配の有界性仮定を必要としない強凸および非凸目的関数においても理論的保証を有するリジッドベースの圧縮を用いる。

ABSTRACT

Large-scale machine learning models are often trained by parallel stochastic gradient descent algorithms. However, the communication cost of gradient aggregation and model synchronization between the master and worker nodes becomes the major obstacle for efficient learning as the number of workers and the dimension of the model increase. In this paper, we propose DORE, a DOuble REsidual compression stochastic gradient descent algorithm, to reduce over $95\%$ of the overall communication such that the obstacle can be immensely mitigated. Our theoretical analyses demonstrate that the proposed strategy has superior convergence properties for both strongly convex and nonconvex objective functions. The experimental results validate that DORE achieves the best communication efficiency while maintaining similar model accuracy and convergence speed in comparison with start-of-the-art baselines.

研究の動機と目的

• 高容量の勾配およびモデル同期に起因する分散機械学習における通信ボトルネックを解消すること。
• 従来の研究が勾配の圧縮のみにとどまっているという限界を克服し、効果的なモデル圧縮を導入すること。
• 勾配の有界性要件を含む弱い仮定のもとで収束を保証する理論的根拠に基づいた手法を開発すること。
• 最先端のベースラインと比較して、モデル精度や収束速度を損なわずに優れた通信効率を達成すること。

提案手法

• 各イテレーションにおいて、確率的勾配とモデルパラメータ更新の両方を圧縮する二重リジッド圧縮メカニズムを提案する。
• 現在と直前のモデル／勾配の差分を圧縮するリジッドベースの圧縮戦略を用い、冗長性を低減する。
• 情報損失を最小限に抑えるために、リジッド成分に不偏量子化およびスパarsification技術を適用する。
• パラメータサーバー枠組みに圧縮を統合し、マスターノードへの送信前に勾配とモデルパラメータの両方を圧縮する。
• 二段階圧縮プロセスを設計：まず勾配リジッドを圧縮し、次にモデルパラメータリジッドを圧縮することで、高い圧縮比を実現する。
• 理論的分析により、勾配の有界性に依存しない強凸および非凸目的関数における収束が示され、収束速度が勾配の境界に依存しない。

実験結果

リサーチクエスチョン

• RQ1 勾配とモデルパラメータの共同圧縮が、分散学習における通信オーバーヘッドを顕著に低減できるか？
• RQ2 勾配の有界性要件がないという弱い仮定のもとで、提案された二重リジッド圧縮戦略が収束性を維持できるか？
• RQ3 凸および非凸最適化設定において、DOREの通信効率は最先端手法と比較してどのように異なるか？
• RQ4 凸ケースにおいて、DOREが高圧縮比と低誤差蓄積を維持しながら線形収束を達成できるか？
• RQ5 圧縮パラメータ（例：ブロックサイズ、圧縮レベル）がアルゴリズムの安定性およびパフォーマンスに与える影響は何か？

主な発見

• DOREは、フル精度のSGDと比較して、通信コストを95%以上削減し、通信ボトルネックの顕著な緩和を実現した。
• フル勾配を用いた凸ケースでは、DOREはSGDやDIANAと同等の線形収束を達成した。一方、QSGD、MEM-SGD、DoubleSqueezeは最適解の近傍に収束するにとどまった。
• 非凸設定（MNIST上のLeNet、CIFAR10上のResNet18）では、DOREはフル精度のSGDおよび他の量子化ベースラインと同等の収束速度とテスト精度を達成した。
• 同じ圧縮手法を用いた場合、DOREはDoubleSqueezeよりも収束速度が速く、トップ-kスパース化を用いた場合、性能でDoubleSqueezeに並んだ。
• 低帯域幅環境下では、イテレーションごとの処理コストが顕著に低減され、実世界のネットワーク環境におけるDOREの優位性が示された。
• 勾配とモデルリジッドのノルムが指数関数的に減少するため、実験で観察された線形収束の挙動が説明された。