[論文レビュー] CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning.

Yang He, Maximilian Zenk+1 more|arXiv (Cornell University)|Dec 15, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用数 4

ひとこと要約

本稿では、コサインベースの量子化を用いて確率的勾配を圧縮する、通信効率の高い非線形量子化手法CosSGDを提案する。MNIST、CIFAR-10、BraTSデータセットにおける画像分類および脳腫瘍セグメンテーションタスクにおいて、勾配通信量を最大3桁削減することで、モデルの収束性と精度を維持する。

ABSTRACT

Federated learning facilitates learning across clients without transferring local data on these clients to a central server. Despite the success of the federated learning method, it remains to improve further w.r.t communicating the most critical information to update a model under limited communication conditions, which can benefit this learning scheme into a wide range of application scenarios. In this work, we propose a nonlinear quantization for compressed stochastic gradient descent, which can be easily utilized in federated learning. Based on the proposed quantization, our system significantly reduces the communication cost by up to three orders of magnitude, while maintaining convergence and accuracy of the training process to a large extent. Extensive experiments are conducted on image classification and brain tumor semantic segmentation using the MNIST, CIFAR-10 and BraTS datasets where we show state-of-the-art effectiveness and impressive communication efficiency.

研究の動機と目的

• 帯域制限のある環境において顕著な通信オーバーヘッドが生じるフェデレーテッドラーニングの課題に対処すること。
• モデルの収束性や精度を損なわず、通信効率を向上させること。
• 既存のフェデレーテッドラーニングフレームワークと互換性がある実用的で導入可能な量子化スキームを開発すること。
• 限られたネットワークリソースを有する現実世界のシナリオにおいて、フェデレーテッドラーニングの広範な応用を可能にすること。

提案手法

• 確率的勾配を圧縮表現にマップするためのコサイン変換に基づく非線形量子化関数を提案する。
• 勾配の方向と大きさを保持するために、コサインに基づく間隔を用いて勾配を動的にスケーリングする量子化戦略を設計する。
• フェデレーテッドラーニングにおける圧縮確率的勾配降下法（SGD）フレームワークに量子化メカニズムを統合する。
• 量子化された勾配が有効なパrameter更新に十分な情報を保持することを保証することで、モデルの収束性を維持する。
• 複数のデータセットおよびモデルアーキテクチャを対象に、エンドツーエンドのフェデレーテッドトレーニングパイプラインに本手法を適用する。
• 勾配統計に基づく動的レンジ調整を伴う対称量子化スキームを用いることで、精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非線形量子化は、モデル性能を劣化させることなく、フェデレーテッドラーニングにおける通信コストを顕著に削減できるか？
• RQ2 収束速度および最終的な精度の観点から、CosSGDは線形量子化手法と比べてどのように差を示すか？
• RQ3 多様なタスクにおいて、モデル一般化性能を保持したまま、勾配圧縮をどの程度まで達成できるか？
• RQ4 提案手法は、異なるデータ分布およびモデルアーキテクチャにおいても頑健性を維持するか？

主な発見

• CosSGDは、フルプレシジョン学習と比較して通信コストを最大3桁（1000倍）まで削減した。
• MNISTおよびCIFAR-10画像分類タスクにおいて、CosSGDはフルプレシジョンベースラインと1%以内の精度で同等の性能を達成した。
• BraTS脳腫瘍セグメンテーションデータセットでは、CosSGDがフルプレシジョン学習と同等のセグメンテーション性能を達成した。
• 提案された量子化により、最小限の劣化で複数のフェデレーテッドラーニングラウンドにおいて安定した収束が実現された。
• 通信効率とモデル精度のトレードオフにおいて、CosSGDは既存の線形量子化ベースラインを上回った。
• 本手法は多様なモデルアーキテクチャおよびデータ分布において有効であり、広範な適用可能性を示した。