[論文レビュー] FedMix: Approximation of Mixup under Mean Augmented Federated Learning

Tehrim Yoon, Sumin Shin+2 more|arXiv (Cornell University)|Jul 1, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用数 67

ひとこと要約

FedMix はMean Augmented Federated Learning (MAFL) フレームワーク内でグローバル Mixup の近似を提案し、平均データのみを用いた Mixup のようなデータ拡張を可能にし、非 iid フェデレーテッド学習の性能を向上させつつプライバシーを保つ。

ABSTRACT

Federated learning (FL) allows edge devices to collectively learn a model without directly sharing data within each device, thus preserving privacy and eliminating the need to store data globally. While there are promising results under the assumption of independent and identically distributed (iid) local data, current state-of-the-art algorithms suffer from performance degradation as the heterogeneity of local data across clients increases. To resolve this issue, we propose a simple framework, Mean Augmented Federated Learning (MAFL), where clients send and receive averaged local data, subject to the privacy requirements of target applications. Under our framework, we propose a new augmentation algorithm, named FedMix, which is inspired by a phenomenal yet simple data augmentation method, Mixup, but does not require local raw data to be directly shared among devices. Our method shows greatly improved performance in the standard benchmark datasets of FL, under highly non-iid federated settings, compared to conventional algorithms.

研究の動機と目的

• データのヘテロ性（非同質性）とプライバシー制約の下でフェデレーテッド学習を動機付ける。
• モデルパラメータと共に平均データを交換するフレームワークとしてMAFLを導入する。
• テイラー展開を用いて平均データを用いてグローバル Mixup を近似する FedMix を開発する。
• 標準的なFLベンチマークでFedAvgおよびFedProxより経験的な改善を示す、特に非 iid 設定で。

提案手法

• クライアントがモデルパラメータに加えて平均データを交換する MAFL を定義する。
• NaiveMixを局所データと平均化された外部データ間のベースラインMixupとして提案する。
• ローカルデータのみでなく平均データを用い、ラムダ << 1 の周りでのテイラー展開によってグローバル Mixup 損失を近似する FedMix を開発する。
• FedMix 損失が局所データと平均外部平均とを含む式と、外部平均を含む勾配項へ還元されることを示す。
• FEMNIST、CIFAR-10、CIFAR-100、Shakespeare を用いて FedAvg、FedProx、Local/NaiveMix バリアントと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間でデータを平均化する（MAFL）ことで、生データを共有せずに非 iid データ下でモデル性能を向上させることができるか。
• RQ2 FedMix は平均データのみを用いてグローバル Mixup の効果をどれだけ効果的に近似できるか。
• RQ3 MAFL パラメータ（例: M_k、lambda）がプライバシー、通信、精度に与える影響は何か。
• RQ4 FedMix は多様な非 iid シナリオやデータセットで一貫してベースラインFL手法を上回るか。

主な発見

アルゴリズム	FEMNIST テスト精度 (200 ラウンド)	FEMNIST 80% に到達するラウンド	CIFAR10 テスト精度 (500 ラウンド)	CIFAR10 70% に到達するラウンド	CIFAR100 テスト精度 (500 ラウンド)	CIFAR100 40% に到達するラウンド
Global Mixup	88.2	8	88.2	85	61.4	54
FedAvg	85.3	26	73.8	283	50.4	101
LocalMix	82.8	28	73.0	267	54.8	91
NaiveMix	85.9	23	77.4	198	53.8	85
FedMix	86.5	18	81.2	162	56.7	34
FedProx	84.6	29	77.3	266	51.2	79
FedProx + LocalMix	84.1	39	74.1	314	54.0	90
FedProx + NaiveMix	85.7	37	76.7	230	53.1	74
FedProx + FedMix	86.0	32	78.9	223	54.5	63

• FedMix は FEMNIST、CIFAR-10、CIFAR-100 において 非 iid 設定で FedAvg、FedProx、LocalMix、NaiveMix より高い精度と faster 収束を達成。
• FedMix は round ごとにクライアント数が少ない状況を含む 増加するヘテロゲニティに対して強い頑健性を示す。
• Shakespeare（言語データ）では MAFL バリアントがベースラインを改善するが、グローバル Mixup が常に優れているとは限らない。
• M_k の変化は性能に限られた影響しかなく、効果的なプライバシー保護を伴う平均化を示唆。
• FedMix は 複数の実験で Mixup 戦略と組み合わせた FedProx バリアントを上回る。
• 本アプローチは グローバル Mixup よりもプライバシーを維持しつつ、競争力のあるまたは優れた精度を達成。