[論文レビュー] A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning

Samuel Horváth, Peter Richtárik|arXiv (Cornell University)|Jun 19, 2020

Stochastic Gradient Optimization Techniques参考文献 62被引用数 20

ひとこと要約

本論文は、任意のコントトラクティブ（バイアスあり）圧縮機（例：Top-K）を、圧縮誤差フィードバック機構を用いてバイアスなしの「誘導圧縮機」に変換する新規手法を提案する。これにより、効率的なバイアスなし通信手法を直接利用可能となる。従来の誤差フィードバックと比較して、収束性が優れ、メモリ使用量が低減され、理論的保証も強化されており、深層学習モデルにおける実証的検証も行われている。

ABSTRACT

Modern large-scale machine learning applications require stochastic optimization algorithms to be implemented on distributed compute systems. A key bottleneck of such systems is the communication overhead for exchanging information across the workers, such as stochastic gradients. Among the many techniques proposed to remedy this issue, one of the most successful is the framework of compressed communication with error feedback (EF). EF remains the only known technique that can deal with the error induced by contractive compressors which are not unbiased, such as Top-$K$. In this paper, we propose a new and theoretically and practically better alternative to EF for dealing with contractive compressors. In particular, we propose a construction which can transform any contractive compressor into an induced unbiased compressor. Following this transformation, existing methods able to work with unbiased compressors can be applied. We show that our approach leads to vast improvements over EF, including reduced memory requirements, better communication complexity guarantees and fewer assumptions. We further extend our results to federated learning with partial participation following an arbitrary distribution over the nodes, and demonstrate the benefits thereof. We perform several numerical experiments which validate our theoretical findings.

研究の動機と目的

• Top-K などのバイアスあり圧縮機を処理するための現在の標準である誤差フィードバック（EF）の改善により、分散機械学習における通信ボトル neck を解消すること。
• 誤差ベクトルの維持が不要な、理論的に妥当かつ実用的に優れた EF の代替手法を開発し、メモリオーバーヘッドを低減すること。
• 適切に構築されたバイアスなし圧縮機が、収束速度と安定性においてバイアスあり圧縮機に上回ることを示すこと。
• 任意のクライアント参加パターンを想定したフェデレーテッドラーニングにフレームワークを拡張し、耐障害性とスケーラビリティを示すこと。

提案手法

• 任意のコントトラクティブ圧縮機を、第二のバイアスなし圧縮機と組み合わせることで、バイアスなしの「誘導圧縮機」に変換する一般化された構成を提案する。
• 完全な誤差ベクトルを保存しないでバイアスなし性を維持するため、誤差フィードバックの圧縮形を用いることで、メモリ使用量を削減する。
• 既存のバイアスなし通信手法（例：DCSGD、DIANA、ADIANA）を誘導圧縮機に適用し、それらの理論的収束保証を活用する。
• 誘導圧縮機を二段階プロセスとして設計する：まずバイアスあり圧縮機（例：Top-a）を適用し、次に残差に対してバイアスなし圧縮機（例：Rand-(K-a)）を適用する。
• 元のバイアスあり圧縮機の低分散特性を保ちつつ、結果として得られる誘導圧縮機がバイアスなしであることを保証する。
• 理論的分析により、特にフェデレーテッドラーニングにおける部分的参加下で、EF よりも通信複雑性が改善され、仮定が少ないことが示された。

実験結果

リサーチクエスチョン

• RQ1 従来の誤差フィードバックに依存せずに、任意のコントトラクティブ（バイアスあり）圧縮機をバイアスなしに変換する一般化された手法を開発可能か？
• RQ2 提案された誘導圧縮機は、収束速度、メモリ効率、通信複雑性の観点で、誤差フィードバックを上回るか？
• RQ3 任意のクライアント参加パターンを想定したフェデレーテッドラーニングにおいて、誘導圧縮機が有効に適用可能か？
• RQ4 誘導圧縮機は、誤差フィードバックおよびバイアスなしベースライン（例：Rand-K や勾配スパarsification）と比較して、実証的にどのように差がつくか？
• RQ5 仮定の数と収束保証の観点から、EF に比べて誘導圧縮機に理論的優位性があるか？

主な発見

• 誘導圧縮機は、VGG11 や ResNet18 を含む複数の深層学習モデルにおいて、誤差フィードバックを上回る収束速度と安定性を示した。
• 従来の誤差フィードバックとは異なり、完全な誤差ベクトルの保存が不要であるため、メモリ使用量が削減された。
• 実証的結果から、誘導圧縮機は Top-K に EF を適用した場合や、バイアスなしの Rand-K よりも顕著に優れており、特に通信予算が低い状況で顕著であった。
• 誤差フィードバックは、TernGrad のように元々バイアスなしの圧縮機に適用すると性能が劣化するため、このような状況では EF は不要かつ有害であることが確認された。
• 理論的分析により、特にフェデレーテッドラーニングにおける部分的ノード参加下で、誘導圧縮機が EF よりも通信複雑性が改善され、仮定が少ないことが確認された。
• 誘導圧縮機により、収束問題を回避しつつ、高性能なバイアスあり圧縮機（例：Top-K）を活用可能となり、EF のメモリオーバーヘッドも回避できる。