[論文レビュー] CosSGD: Communication-Efficient Federated Learning with a Simple Cosine-Based Quantization

Yang He, Hui‐Po Wang+2 more|arXiv (Cornell University)|Dec 15, 2020

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、モデル重みおよび勾配の両方を圧縮するために、新しいコサインベースの非線形量子化を用いた通信効率の高いフェデレーテッドラーニング手法CosSGDを提案する。大きな絶対値を持つ値に細かい量子化レベルを割り当てることで、CosSGDは超高圧縮比において最先端の性能を達成しており、1ビット量子化でもフル精度学習と同等の性能を発揮する。計算コストは低く抑えられ、勾配スパース化などの既存技術とも互換性がある。

ABSTRACT

Federated learning is a promising framework to mitigate data privacy and computation concerns. However, the communication cost between the server and clients has become the major bottleneck for successful deployment. Despite notable progress in gradient compression, the existing quantization methods require further improvement when low-bits compression is applied, especially the overall systems often degenerate a lot when quantization are applied in double directions to compress model weights and gradients. In this work, we propose a simple cosine-based nonlinear quantization and achieve impressive results in compressing round-trip communication costs. We are not only able to compress model weights and gradients at higher ratios than previous methods, but also achieve competing model performance at the same time. Further, our approach is highly suitable for federated learning problems since it has low computational complexity and requires only a little additional data to recover the compressed information. Extensive experiments have been conducted on image classification and brain tumor semantic segmentation using the CIFAR-10, and BraTS datasets where we show state-of-the-art effectiveness and impressive communication efficiency.

研究の動機と目的

• フェデレーテッドラーニングにおける高い通信コスト、特に極めて低ビット量子化下での課題に対処すること。
• 情報量の多い大きな絶対値を持つ重みおよび勾配をよりよく保存することで、低ビット圧縮下でのモデル性能を向上させること。
• リソース制限のあるエッジデバイスに適した、計算複雑度が低い量子化スキームの設計。
• 勾配スパース化や損失なし圧縮などの既存の通信削減技術と互換性を保つこと。
• 追加の学習や顕著な計算コスト増加なしに、最先端の通信効率を達成すること。

提案手法

• コサインベースの非線形量子化関数を用い、非一様な量子化インターバルを生成する。大きな絶対値の値に細かい解像度、小さな値に粗い解像度を割り当てる。
• 量子化はモデル重みおよび勾配に対して独立して適用され、サーバーとクライアント間での往復圧縮を可能にする。
• コサイン関数は、最適化においてより情報量の多い極端な値の量子化誤差を最小化できる点で選択された。
• 追加の学習やモデルのファインチューニングが不要であるため、既存のフェデレーテッドラーニングパイプラインに直接適用可能である。
• 勾配スパース化および損失なし圧縮（例：Deflate）と互換性があり、通信コストの累積的低減が可能である。
• 追加の計算コストは最小限に抑えられており、リソース制限のあるエッジデバイスにも適している。

実験結果

リサーチクエスチョン

• RQ1 大きな絶対値の値を優先する非線形量子化スキームが、フェデレーテッドラーニングにおける極めて低ビット圧縮下でのモデル性能を向上させることができるか？
• RQ2 コサインベースの量子化は、線形量子化およびk-meansベースの量子化と比較して、精度および通信効率の面で優れているか？
• RQ3 本手法は、勾配スパース化および損失なし圧縮と組み合わせた場合でも高い性能を維持できるか？
• RQ4 1ビットおよび2ビットの水準において、既存の最先端の量子化技術よりも通信効率が優れているか？
• RQ5 リソース制限のあるエッジデバイスに実際のフェデレーテッドラーニングシステムで展開可能ほど、計算的に軽量か？

主な発見

• CIFAR-10では1ビット量子化でも84.2%のトップ1正答率を達成し、フル精度学習（85.2%）と比較してわずか1%の低下にとどまる。
• ハダマード回転と残差保存を用いたアンバイアスド線形量子化よりも顕著な性能向上を示し、特に1ビット圧縮下で顕著である。
• BraTS2019脳腫瘍セグメンテーションタスクでは、同じ圧縮設定下でk-meansおよび線形量子化よりも高いDiceスコアを達成した。
• 5%の勾配スパース化とDeflate圧縮を組み合わせた場合、CosSGDは1000倍を超える総通信圧縮率を達成しながら、競争力のあるモデル性能を維持した。
• 4ビット精度でのモデル重み圧縮において、性能劣化なしに効果的に圧縮できるのはCosSGDのみであり、同コスト水準の他の手法を上回った。
• 画像分類および3次元医療画像セグメンテーションの両タスクで一貫した性能を発揮し、広範な適用可能性を示した。