[論文レビュー] Decentralized Deep Learning with Arbitrary Communication Compression

Anastasia Koloskova, Tao Lin+2 more|arXiv (Cornell University)|Jul 22, 2019

Privacy-Preserving Technologies in Data参考文献 58被引用数 31

ひとこと要約

本稿では、非凸的な深層学習において、任意の通信圧縮（例：量子化やスパarsification）を可能にしつつ、ワーカー数に対して線形スループット向上を達成する分散型確率的勾配降下法Choco-SGDを提案する。収束レートは $\mathcal{O}(1/\sqrt{nT} + 1/((\rho^2\delta T)^{2/3}))$ であり、$n$ はワーカー数、$T$ は反復回数、$\rho$ はスペクトルギャップ、$\delta$ は圧縮比を表す。実験的検証により、通信量の顕著な削減と、ピアツーピアおよびデータセンタ環境における精度到達までの時間の改善が確認された。

ABSTRACT

Decentralized training of deep learning models is a key element for enabling data privacy and on-device learning over networks, as well as for efficient scaling to large compute clusters. As current approaches suffer from limited bandwidth of the network, we propose the use of communication compression in the decentralized training context. We show that Choco-SGD $-$ recently introduced and analyzed for strongly-convex objectives only $-$ converges under arbitrary high compression ratio on general non-convex functions at the rate $O\bigl(1/\sqrt{nT}\bigr)$ where $T$ denotes the number of iterations and $n$ the number of workers. The algorithm achieves linear speedup in the number of workers and supports higher compression than previous state-of-the art methods. We demonstrate the practical performance of the algorithm in two key scenarios: the training of deep learning models (i) over distributed user devices, connected by a social network and (ii) in a datacenter (outperforming all-reduce time-wise).

研究の動機と目的

• 既存の分散型学習手法が圧縮演算子を制限しており、高い圧縮比においてスケーリングできないという制限に対処すること。
• オンデバイス学習や大規模データセンタなどリソース制約のある環境でも効率的かつ通信効率の良い分散型学習を可能にすること。
• 非凸的な深層学習において、収束性やモデル一般化性能を損なわずに任意の圧縮を用いることが可能であることを示すこと。
• 分散型学習が多数のノードにスケーリングする際のスケーラビリティを調査し、共通の性能ボトルネックを同定すること。

提案手法

• Choco-SGDは、凸設定から非凸設定へとChoco-SGDフレームワークを拡張し、勾配交換に共通認識に基づくゴサッピングメカニズムを採用する。
• 量子化（QSGD）、スパース化（ランダム/トップ-k）、正規化付きの符号ベース圧縮を含む、任意の圧縮演算子を統合する。
• 実用的状況での収束性と一般化性能の向上を図るため、モーメンタムの変種を採用する。
• 圧縮誤差と勾配降下の進行をバランスさせる共通認識ステップサイズを用い、一般非凸滑らか関数下での収束性を理論的に分析する。
• 実験は2つの設定で実施：現実的なピアツーピアのソーシャルネットワークトポロジーと、リング/トーラストポロジーを有するデータセンタ。
• 公平な比較を保つために、各圧縮方式とトポロジーごとにハイパーパramータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 非凸的な分散型深層学習において、収束性や一般化性能を劣化させることなく、任意の通信圧縮を用いることは可能か？
• RQ2 高圧縮比および非IIDデータ下でも、Choco-SGDはワーカー数に対して線形スループット向上を達成するか？
• RQ3 実世界の分散型環境、例えばピアツーピアネットワークを介したオンデバイス学習において、Choco-SGDはどのように性能を発揮するか？
• RQ4 多数のノードに分散型学習をスケーリングする際の、実用的な通信量と精度到達までの時間のトレードオフは何か？
• RQ5 分散型手法（Choco-SGDを含む）が大規模なノード数にスケーリングする際、なぜ集中型ベースラインに比べて性能が劣るのか？

主な発見

• Choco-SGDは非凸関数においてワーカー数 $n$ に対して線形スループット向上を達成し、主な収束項 $\mathcal{O}(1/\sqrt{nT})$ が集中型ベースラインと一致する。
• 1ビット圧縮（例：符号+正規化）でも高いテスト精度を維持でき、フル精度学習と比較して訓練反復回数がわずかに増えるにとどまる。
• 32ノードのソーシャルネットワーク上でピアツーピア学習を実施した結果、Choco-SGDは集中型学習と比較して送信ビット数を95％削減したが、同等のテスト精度を達成した。
• ImageNetとResNet-50を用いたデータセンタ環境の実験では、通信オーバーヘッドの低減により、精度到達までの時間の改善が得られた。
• 64ノードへのスケーリングでは、分散型手法（Choco-SGDを含む）が集中型学習と比較して著しく多くのエポックを要することが判明し、共通のスケーラビリティの制限が浮き彫りになった。
• 大規模化に伴って、集中型と分散型手法の間でテスト精度のギャップが持続するため、分散型学習における未解決の課題が浮き彫りになった。