[論文レビュー] Federated Learning With Quantized Global Model Updates

Mohammad Mohammadi Amiri, Denız Gündüz+2 more|arXiv (Cornell University)|Jun 18, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用数 35

ひとこと要約

本論文は、サーバが量子化されたグローバルモデル更新をデバイスにブロードキャストし、デバイスが量子化されたローカル更新を送信する損失のあるフェデレーテッド学習（LFL）フレームワークを提案し、収束性を分析するとともに、性能低下を最小限に抑えつつ通信コストを大幅に削減することを示す。

ABSTRACT

We study federated learning (FL), which enables mobile devices to utilize their local datasets to collaboratively train a global model with the help of a central server, while keeping data localized. At each iteration, the server broadcasts the current global model to the devices for local training, and aggregates the local model updates from the devices to update the global model. Previous work on the communication efficiency of FL has mainly focused on the aggregation of model updates from the devices, assuming perfect broadcasting of the global model. In this paper, we instead consider broadcasting a compressed version of the global model. This is to further reduce the communication cost of FL, which can be particularly limited when the global model is to be transmitted over a wireless medium. We introduce a lossy FL (LFL) algorithm, in which both the global model and the local model updates are quantized before being transmitted. We analyze the convergence behavior of the proposed LFL algorithm assuming the availability of accurate local model updates at the server. Numerical experiments show that the proposed LFL scheme, which quantizes the global model update (with respect to the global model estimate at the devices) rather than the global model itself, significantly outperforms other existing schemes studying quantization of the global model at the PS-to-device direction. Also, the performance loss of the proposed scheme is marginal compared to the fully lossless approach, where the PS and the devices transmit their messages entirely without any quantization.

研究の動機と目的

• デバイスへブロードキャストするグローバルモデル更新を量子化することにより、フェデレーテッド学習の通信コストを削減する動機付け。
• 量子化されたグローバルモデル更新を伝送する損失のあるフェデレーテッド学習（LFL）アルゴリズムを開発・分析する。
• サーバ上の正確なローカル更新の下でのLFLの収束性を評価し、量子化パラメータの影響を定量化する。
• 標準データセット上で、既存のPS-to-device圧縮方式と完全に無損失のベースラインとLFLを比較する。

提案手法

• デバイスの前回の推定値を基に、サーバが量子化されたグローバルモデル更新をブロードキャストするLFLを提案する。
• デバイスは前の推定値に量子化された更新を加えることで現在のグローバルモデル推定を再構成し、tauステップのローカルSGDを実行する。
• デバイスは誤差補償を伴うローカル更新を量子化して送信する；サーバはこれらの量子化された更新を集約してグローバルモデルを更新する。
• QSGDに似た確率的量子化を使用し、修正されたブロードキャスティングステップを設け、仮定されたデバイス更新の正確性の下で収束境界を導出する。
• 量子化誤差と歪度パラメータが収束速度に与える影響を示す収束解析を提供する。
• MNISTとCIFAR-10でLTGM、LGM、LBベースラインと比較して性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 グローバルモデル全体ではなく量子化されたグローバルモデル更新をブロードキャストすることは、FLの収束特性を保つのか？
• RQ2 IIDおよび非IIDデータ分布の両方で、量子化レベルが通信コストと学習精度に与える影響は？
• RQ3 精度と必要ビット数の観点で、LFLは既存のPS-to-device圧縮方式とどのように比較されるのか？

主な発見

• LFLはMNISTおよびCIFAR-10で、完全に損失のないトレーニングと同程度の精度を、はるかに少ないブロードキャストビット数で達成する。
• LFLはPS-to-device方向でグローバルモデル自体を量子化するLTGMおよびLGMスキームを大幅に上回る。
• グローバルモデル更新を量子化する方が、グローバルモデル自体を量子化するよりデバイス推定が改善され、低ビット予算下での効果的なローカルトレーニングを実現する。
• 収束境界は、量子化誤差と歪度パラメータがレートに与える影響を示し、実用設定では性能低下はごくわずか。
• 実験は、IIDおよび非IIDシナリオで目に見える低下なしに、量子化レベルq1, q2などを通じた顕著な通信削減を示す。