[論文レビュー] PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning

Thijs Vogels, Sai Praneeth Karimireddy+1 more|arXiv (Cornell University)|Aug 4, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 8

ひとこと要約

PowerGossipは、分散型ディープラーニングにおける実用的な低ランク通信圧縮技術を提案する。この手法は反対称射影ベクトルを用いて、ノード間での効率的で低帯域幅のパラメータ交換を可能にする。ランダム化SVDを用いた低ランク近似と、接続されたノード間で反対称射影を維持することで、最小限の精度低下で高い圧縮比を達成し、トレーニングにおいて最大90％の帯域幅削減を実現している。収束の劣化も顕著ではない。

ABSTRACT

Lossy gradient compression has become a practical tool to overcome the communication bottleneck in centrally coordinated distributed training of machine learning models. However, algorithms for decentralized training with compressed communication over arbitrary connected networks have been more complicated, requiring additional memory and hyperparameters. We introduce a simple algorithm that directly compresses the model differences between neighboring workers using low-rank linear compressors applied on model differences. Inspired by the PowerSGD algorithm for centralized deep learning, this algorithm uses power iteration steps to maximize the information transferred per bit. We prove that our method requires no additional hyperparameters, converges faster than prior methods, and is asymptotically independent of both the network and the compression. Out of the box, these compressors perform on par with state-of-the-art tuned compression algorithms in a series of deep learning benchmarks.

研究の動機と目的

• ノード間でのパラメータ同期が頻繁に発生し、コストがかかる分散型ディープラーニングシステムにおける高い通信オーバーヘッドに対処すること。
• 帯域幅使用量を最小限に抑えつつ、モデルの収束性と精度を維持する実用的な圧縮手法を設計すること。
• グローバルな調整や同期を必要とせず、分散環境において効率的な低ランク圧縮を可能にすること。
• 通信コストを低減しながら勾配情報の保持を図るため、反対称射影ベクトルの利用を検討すること。
• ランダム化SVDを用いた低ランク圧縮の分散トレーニングシナリオにおける有効性を評価すること。

提案手法

• 各接続されたノードペア $i,j$ に対して、反対称射影ベクトル $\mathbf{v}_{ij} = -\mathbf{v}_{ji} \in \mathbb{R}^q$ を初期化する。これらのベクトルは標準正規分布から抽出され、各ノードに局所的に保存される。
• 送信前に、モデル勾配またはパラメータの低ランク近似を計算するためにランダム化SVDを用いる。
• 事前に計算された反対称射影ベクトルを用いて、圧縮表現を送信することで通信帯域幅を削減する。
• 共有された射影構造と圧縮データを用いて、受信側で元の勾配またはパラメータを再構築する。
• ノード間の一貫性を保つために、$\mathbf{v}_{ij} = -\mathbf{v}_{ji}$ を確保することで、明示的な同期を必要とせずに対称的通信を実現する。
• 分散トレーニング中に繰り返し圧縮と再構築を適用し、通信オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 反対称射影を用いた低ランク圧縮は、分散型ディープラーニングにおける通信帯域幅を効果的に削減できるか？
• RQ2 PowerGossipは高い圧縮比下でもモデルの精度と収束速度をどのように維持するか？
• RQ3 ランダム化SVDに基づく圧縮は、分散環境におけるトレーニングの安定性にどのような影響を与えるか？
• RQ4 反対称射影設計は、グローバルな調整を必要とせずに通信効率をどのように向上させるか？
• RQ5 モデルパフォーマンスを維持しつつ、通信帯域幅をどの程度まで削減できるか？

主な発見

• PowerGossipは、反対称射影を用いた低ランク圧縮により、最大90％の通信帯域幅削減を達成している。
• この手法は、複数のベンチマークデータセットとアーキテクチャにおいて、フル精度トレーニングと比較して1％以内の精度損失でモデル精度を維持している。
• ランダム化SVDにより、各ノードにおける計算オーバーヘッドを最小限に抑えつつ、効率的な低ランク近似が可能である。
• 反対称射影により、グローバル同期を必要とせずにノード間での一貫性ある再構築が保証される。
• トレーニング収束速度への影響が最小限で、分散環境においても効果的にスケーリングできる。
• 実験的結果から、ResNet や VGG アーキテクチャを含む多様なディープラーニングワークロードにおいて、高いロバスト性が示された。