[論文レビュー] Robust Federated Learning: The Case of Affine Distribution Shifts

Amirhossein Reisizadeh, Farzan Farnia+2 more|arXiv (Cornell University)|Jun 16, 2020

Privacy-Preserving Technologies in Data参考文献 41被引用数 64

ひとこと要約

FLRAを導入する。デバイス間でのアフィン分布シフトに頑健なフェデレーテッドラーニングフレームワークで、FedRobust という勾配降下-上昇法で解かれ、収束と一般化保証を提供する。

ABSTRACT

Federated learning is a distributed paradigm that aims at training models using samples distributed across multiple users in a network while keeping the samples on users' devices with the aim of efficiency and protecting users privacy. In such settings, the training data is often statistically heterogeneous and manifests various distribution shifts across users, which degrades the performance of the learnt model. The primary goal of this paper is to develop a robust federated learning algorithm that achieves satisfactory performance against distribution shifts in users' samples. To achieve this goal, we first consider a structured affine distribution shift in users' data that captures the device-dependent data heterogeneity in federated settings. This perturbation model is applicable to various federated learning problems such as image classification where the images undergo device-dependent imperfections, e.g. different intensity, contrast, and brightness. To address affine distribution shifts across users, we propose a Federated Learning framework Robust to Affine distribution shifts (FLRA) that is provably robust against affine Wasserstein shifts to the distribution of observed samples. To solve the FLRA's distributed minimax problem, we propose a fast and efficient optimization method and provide convergence guarantees via a gradient Descent Ascent (GDA) method. We further prove generalization error bounds for the learnt classifier to show proper generalization from empirical distribution of samples to the true underlying distribution. We perform several numerical experiments to empirically support FLRA. We show that an affine distribution shift indeed suffices to significantly decrease the performance of the learnt classifier in a new test user, and our proposed algorithm achieves a significant gain in comparison to standard federated learning and adversarial training methods.

研究の動機と目的

• デバイス依存のデータヘテロゲネリティとアフィン分布シフトの下で、頑健なフェデレーテッドラーニングを動機づける。
• 現実的な摂動をとらえるために、ユーザー-デバイスのデータシフトをアフィン変換としてモデル化する。
• ミニマックス頑健学習問題を定式化し、スケーラブルなFedRobust解を導出する。
• アフィンシフト下で学習済み分類器の収束保証と一般化境界を提供する。

提案手法

• ノード i のデータを普遍的な分布からのアフィン変換としてモデル化する: x^i -> Lambda^i x^i + delta^i.
• 偏差を制限するためにペナルティ λ を導入して、w で最小化し、アフィンパラメータ (Lambda^i, delta^i) を最大化するミニマックス目的を定式化する。
• FedRobustを開発する：アフィンパラメータを局所で更新し、分類器 w を更新する勾配降下-上昇アルゴリズムで、通信を削減するために定期的なサーバー平均化を行う。
• PL条件の下で二つの損失クラス（PL-PL および nonconvex-PL）に対する定常点への収束を証明する。
• 分類器のリプシッツ性・滑らかさとニューラルネットワークのスペクトル正則化に依存する PAC-Bayes 型の一般化境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 affine distribution shiftはデバイス間のフェデレーテッド学習の性能にどのような影響を与えるか？
• RQ2 デバイス固有のアフィイン摂動を用いたミニマックス定式化はFLで頑健な分類器を生み出すか？
• RQ3 アフィイン摂動下でのフェデレーテッド勾配降下-上昇法の収束性はどうか？
• RQ4 アフィン頑健なフェデレーテッド目的で訓練された分類器の一般化保証は何か？

主な発見

• FLRAは、アフィン分布シフト下で、標準のFedAvgおよび敵対的訓練と比べて画像タスクで頑健性を改善する。
• FedRobustはPL条件の下でミニマックス目的の定常点に収束する。
• このフレームワークは、リプシッツ性とスペクトル正則化に基づく多層ニューラルネットワークの一般化境界を与える。
• 頑健性の特性はミニマックス目的を、Wasserstein様の輸送コストを用いた分布強健化最適化へと結びつける。