[論文レビュー] FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization

Amirhossein Reisizadeh, Aryan Mokhtari+3 more|arXiv (Cornell University)|Sep 28, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用数 260

ひとこと要約

FedPAQは、周期的平均化、部分デバイス参加、および量子化されたメッセージ伝搬を組み合わせた通信効率の高いフェデレーテッド学習アルゴリズムで、強凸および非凸損失関数に対してほぼ最適な保証を提供します。

ABSTRACT

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systems-oriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized message-passing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

研究の動機と目的

• 多くのデバイスを含むフェデレーテッド学習における通信のボトルネックを解消する。
• 部分的なデバイス利用可能性の下でスケーラブルな訓練を可能にする。
• 量子化された通信によりアップリンクデータを削減しつつ、収束保証を維持する。
• 強凸および非凸損失関数の両方に対する理論的保証を提供する。

提案手法

• ローカルモデルを一定回数の反復訓練後に同期更新を行う周期的平均化を導入する。
• 各ラウンドでデバイスのサブセットをランダムにサンプリングして部分参加を許可する。
• デバイスからサーバーへ送信される更新に量子化を適用して通信を削減する。
• 更新のための具体的な量子化方式（低精度量子化器）を提供する。
• 量子化された更新を集約して次のグローバルモデルを形成するアルゴリズム（FedPAQ）を提示する。
• 強凸および非凸損失に適した仮定の下で収束性を分析する。

実験結果

リサーチクエスチョン

• RQ1 周期的平均化、部分参加、および量子化を用いて収束性を犠牲にすることなく通信効率を実現できるか？
• RQ2 量子化と確率勾配の現実的な仮定の下で、強凸および非凸設定におけるFedPAQの収束保証は何か？
• RQ3 期間長さ、参加率、および量子化は通信コストと収束速度のトレードオフにどのような影響を与えるか？

主な発見

• FedPAQは適切な条件の下、強凸損失に対して期待値でO(1/T)収束を達成する。
• 非凸損失では、期間長をO(√T)まで許容しつつ、フェドパクは1階の定常点への収束速度をO(1/√T)と達成する。
• 理論結果は、量子化分散、部分参加、および周期的平均化に内在する局所更新のバイアスを考慮する。
• この枠組みは明確な通信-計算のトレードオフを示し、量子化が通信回数を大幅に削減できることを示す。
• 特殊な場合には既知の結果を回復する（例：全参加、量子化なし）一方で標準的な勾配境界仮定を緩和する。