[論文レビュー] Communication-Efficient Adaptive Federated Learning

Yujia Wang, Lu Lin+1 more|arXiv (Cornell University)|May 5, 2022

Privacy-Preserving Technologies in Data被引用数 25

ひとこと要約

FedCAMSを紹介する。通信効率の高い適応型連合学習法で、未圧縮ベースラインと同等の収束保証を提供。さらに、運動量ベースのバリアントとしてFedAMSを提案。

ABSTRACT

Federated learning is a machine learning training paradigm that enables clients to jointly train models without sharing their own localized data. However, the implementation of federated learning in practice still faces numerous challenges, such as the large communication overhead due to the repetitive server-client synchronization and the lack of adaptivity by SGD-based model updates. Despite that various methods have been proposed for reducing the communication cost by gradient compression or quantization, and the federated versions of adaptive optimizers such as FedAdam are proposed to add more adaptivity, the current federated learning framework still cannot solve the aforementioned challenges all at once. In this paper, we propose a novel communication-efficient adaptive federated learning method (FedCAMS) with theoretical convergence guarantees. We show that in the nonconvex stochastic optimization setting, our proposed FedCAMS achieves the same convergence rate of $O(\frac{1}{\sqrt{TKm}})$ as its non-compressed counterparts. Extensive experiments on various benchmarks verify our theoretical analysis.

研究の動機と目的

• 確率的非凸最適化の下での高い通信オーバーヘッドと適応性の欠如という2つのコアFL課題を動機づけ、対処する。
• 通信効率と適応性の両方を実現する統一フレームワークを開発する。
• 圧縮されていない counterparts に匹敵する収束率を示す理論的収束保証を提供する。
• 標準ベンチマークでの実験を通じて実践的性能向上を示す。

提案手法

• 最大安定化を備えたロバストな適応更新を実現するFederated AMSGrad 変体である FedAMS を提案する。
• 誤差フィードバックを用いて biased 圧縮機を可能にしつつ収束保証を維持する通信圧縮AMSGrad である FedCAMS を提案する。
• 2つの更新オプションを提供する: 最大安定化分散 (Option 1) および AMSGrad 風の非減少分散 (Option 2)。
• FedCAMS では、局所更新に誤差フィードバック圧縮を適用し、部分参加をサポートするため累積圧縮誤差を維持する。
• biased-compressor の仮定を満たす一般的な圧縮機 (top-k, scaled-sign) を、圧縮-非類似性条件の下で許可する。
• 適切な設定の下で uncompressed 方法と同じ O(1/sqrt(TKm)) の非凸収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸設定において収束保証を損なうことなく通信効率と適応性を両立する連合最適化法を設計できるか？
• RQ2 Partial participation の下でエラーフィードバックベースの圧縮方式は適応的連合最適化にも安定的に拡張されるか？
• RQ3 Full Participation および Partial Participation の下で FedAMS と FedCAMS に対してどのような収束率が達成されうるか？
• RQ4 圧縮（バイアスと誤差フィードバック）が、uncompressed AMSGrad ベースの方法と比較して定数と速度にどのような影響を与えるか？

主な発見

• FedAMS は full および partial participation の下で未圧縮 counterparts と同じ収束率 O(1/sqrt(TKm)) を達成する。
• FedCAMS は誤差フィードバックと biased compressors を用いて通信コストを削減しつつ同じ O(1/sqrt(TKm)) 率を達成する。
• 経験的結果は、FedAMS と FedCAMS が実世界のモデルで良い適応性を提供し、FedCAMS が精度の大幅な低下を伴わずに通信ビットを大幅削減することを示す。
• 誤差フィードバックにより、適応型連合最適化における通信圧縮が発散を引き起こすことなく可能となる。適切なルヤプノフ関数風の解析を考慮して。
• 部分参加の結果は、大きな n が収束を加速し、非独立同分布 setting では global variance がより影響力を持つことを示唆する。