[論文レビュー] DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning

Robert Hönig, Yiren Zhao+1 more|arXiv (Cornell University)|Oct 31, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用数 37

ひとこと要約

DAdaQuantは、通信効率の良い联邦学習のための二重に適応する量子化手法を提案する。この手法は、時間的およびクライアント単位で動的に量子化レベルを調整することで、上行リンクの通信量を最小限に抑えつつモデルの精度を損なわない。時間的適応とクライアント適応の戦略を組み合わせることで、非適応ベースラインに比べ最大2.8倍の圧縮を達成し、通信量と精度のトレードオフにおいてパレート効率を維持する。

ABSTRACT

Federated Learning (FL) is a powerful technique for training a model on a server with data from several clients in a privacy-preserving manner. In FL, a server sends the model to every client, who then train the model locally and send it back to the server. The server aggregates the updated models and repeats the process for several rounds. FL incurs significant communication costs, in particular when transmitting the updated local models from the clients back to the server. Recently proposed algorithms quantize the model parameters to efficiently compress FL communication. These algorithms typically have a quantization level that controls the compression factor. We find that dynamic adaptations of the quantization level can boost compression without sacrificing model quality. First, we introduce a time-adaptive quantization algorithm that increases the quantization level as training progresses. Second, we introduce a client-adaptive quantization algorithm that assigns each individual client the optimal quantization level at every round. Finally, we combine both algorithms into DAdaQuant, the doubly-adaptive quantization algorithm. Our experiments show that DAdaQuant consistently improves client$ ightarrow$server compression, outperforming the strongest non-adaptive baselines by up to $2.8 imes$.

研究の動機と目的

• フェデレーテッドラーニングにおける通信コスト、特に帯域幅集約的なクライアントからサーバーへの上行リンクフェーズを低減すること。
• 訓練の進行状況やクライアントのデータ分布に関係なく固定された量子化レベルを使用する静的量子化の非効率性に対処すること。
• 訓練のダイナミクスとクライアント固有のデータサイズに基づいて、動的に量子化レベルを割り当てることで、通信量を最小限に抑えつつ収束を維持する手法を開発すること。
• 時間的およびクライアントレベルの適応性を組み合わせることで、フェデレーテッドラーニングにおける最新の圧縮パフォーマンスを達成すること。

提案手法

• 訓練の進行に伴い、量子化レベル q を単調に増加させる時間的適応型量子化を導入し、初期段階で低い q を使用することで、通信コストを低減する。
• 各クライアントにそのローカルデータセットのサイズに比例した量子化レベルを割り当てるクライアント適応型量子化を提案し、影響力の高いクライアントがより多くのビットを使用することで、全体の量子化誤差を低減する。
• クライアントレベルの量子化レベル割り当てを指針とするために、蓄積された量子化モデルパラメータの期待分散、E[Var(Q(p))], を量子化誤差の指標として定義する。
• 両方の戦略を統合し、時間的およびクライアント間で動的に量子化レベルを調整するDAdaQuantという二重適応型フレームワークを構築する。
• QSGD量子化アルゴリズムを拡張し、各ラウンドおよび各クライアントごとに進化する動的量子化レベルを適用することで、既存のFLパイプラインとの互換性を維持する。
• 通信削減がモデル精度を低下させないことを保証するため、パレート最適性基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練の進行に伴い量子化レベルを動的に調整することで、フェデレーテッドラーニングにおける通信効率が向上し、モデルの収束に悪影響を及げないか？
• RQ2 クライアントのローカルデータサイズに応じて異なる量子化レベルを割り当てることで、全体の量子化誤差と通信コストが低減するか？
• RQ3 時間的およびクライアント適応型量子化を組み合わせることで、フェデレーテッドラーニングにおける通信量と精度のトレードオフにどのような影響を与えるか？
• RQ4 提案された二重適応型量子化手法は、既存のベースラインと比較してパレート最適性を満たしているか？

主な発見

• DAdaQuantは、複数のデータセットにおいて、最も強力な非適応ベースラインであるFederated QSGDに比べ、最大2.8倍の高い圧縮を達成する。
• 時間的適応型バージョンであるDAdaQuanttimeは、通信効率においてFederated QSGDおよび他のベースラインを普遍的に上回り、精度は同等を維持する。
• クライアント適応型バージョンであるDAdaQuantclientsは、ローカルデータサイズの分散が大きいデータセット（例：Synthetic（cv = 3.3）、Shakespeare（cv = 1.7））において、分散が小さいデータセット（例：Sent140（cv = 0.3））よりも高い圧縮を達成する。
• DAdaQuantは両方の適応戦略の利点を組み合わせ、乗法的な圧縮利得を生み出し、個別のバージョンよりも通信量の削減において優れたパフォーマンスを発揮する。
• DAdaQuantはパレート最適性を満たす：固定された通信コストに対して、すべての評価済みデータセットでFederated QSGDよりも高い精度を達成する。
• この手法は頑健でスケーラブルであり、クライアント数に依存しない通信コストを有する。これに対して、AdaQuantFLはクライアント数に比例してスケーリングする。