[論文レビュー] Federated Learning Based on Dynamic Regularization

Durmus Alp Emre Acar, Yue Zhao+4 more|arXiv (Cornell University)|Nov 8, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 114

ひとこと要約

FedDyn は連邦学習に動的正則化を導入し、局所デバイスの minima をグローバル目的関数と整合させることで、凸および非凸設定の下での通信効率と収束を改善し、異質で部分的参加のある大規模分散デバイスにも対応する。

ABSTRACT

We propose a novel federated learning method for distributively training neural network models, where the server orchestrates cooperation between a subset of randomly chosen devices in each round. We view Federated Learning problem primarily from a communication perspective and allow more device level computations to save transmission costs. We point out a fundamental dilemma, in that the minima of the local-device level empirical loss are inconsistent with those of the global empirical loss. Different from recent prior works, that either attempt inexact minimization or utilize devices for parallelizing gradient computation, we propose a dynamic regularizer for each device at each round, so that in the limit the global and device solutions are aligned. We demonstrate both through empirical results on real and synthetic data as well as analytical results that our scheme leads to efficient training, in both convex and non-convex settings, while being fully agnostic to device heterogeneity and robust to large number of devices, partial participation and unbalanced data.

研究の動機と目的

• 通信効率の観点から連邦学習を動機づけ、局所 minima とグローバル minima との不整合を解消する。
• デバイスの更新をグローバルな停留点に向けて導く動的正則化項を導入する。
• 部分的参加とデバイスの異質性の下で、凸および非凸設定の収束 guarantees を提供する。
• 基準法と比較して通信を削減した実データおよび合成データセットで実証的な利益を示す。

提案手法

• FedDyn を提案する：各ラウンドで、デバイスのサブセットが経験的損失と動的正則化項を組み合わせた局所 penalized 目的関数を最適化する。
• 動的正則化項は、デバイスの勾配に基づく線形項と、デバイスをサーバモデルに結びつける二次項から構成される。
• デバイスの更新は、局所 minima をグローバル停留点に徐々に整合させる修正された最適性条件を満たす。
• サーバは更新されたデバイスモデルを集約し、アクティブな参加者を反映してグローバルモデルを更新する。
• 凸および非凸設定で O(1/T) の収束速度を示し、特定の強凸ケースでは線形に近い速度を示す収束結果を提供する。
• ターゲット精度に対して、FedAvg、FedProx、SCAFFOLD と比較して伝送ビット数の削減を強調する。

実験結果

リサーチクエスチョン

• RQ1 動的に更新される正則化項が、デバイスレベルの最適解がグローバル経験損失の停留点へ収束することを保証できるか。
• RQ2 部分的参画とデータの異質性を伴う FedDyn で、凸および非凸の収束速度はどのようになるか。
• RQ3 IID、非IID、そして高度に分散した設定における既存の FL 手法と比較して、通信効率はどの程度改善されるか。
• RQ4 デバイスの異質性、部分的参加、非均衡な局所データに対しても FedDyn が堅牢であり、性能を維持できるか。
• RQ5 標準ベンチマーク（MNIST、EMNIST、CIFAR-10/100、Shakespeare）での経験的結果は、理論的収束主張を支持するか。

主な発見

• FedDyn は凸および非凸設定において、グローバル損失の停留点への収束をラウンド数で O(1/T) の速度で達成する。
• 凸滑らかな局所損失でデバイス数 m、ラウンドあたりのアクティブデバイス数 P の場合、平均損失は balanced データ下で O(1/T) sqrt(m/P) にスケールし、SCAFFOLD などの従来手法を改善する。
• 非凸滑らかな設定では、期待値ベースで勾配ノルムの O(1/T) (m/P) 速度を達成する。
• MNIST、EMNIST、CIFAR-10/100、Shakespeare に対する実証結果は、さまざまな参加と異質性のレジーム下で FedAvg、FedProx、SCAFFOLD に対して大幅な通信削減を示す。
• FedDyn は競合手法と同程度のオーバーヘッドを要するが、収束速度が速く、ハイパーパラメータ調整が少なく、部分的参加、大規模デバイス数、およびデータの異質性に対して頑健である。