[論文レビュー] Improving Federated Learning Personalization via Model Agnostic Meta Learning

Yihan Jiang, Jakub Konečný+2 more|arXiv (Cornell University)|Sep 27, 2019

Privacy-Preserving Technologies in Data参考文献 22被引用数 368

ひとこと要約

本論文は Federated Averaging (FedAvg) をメタ学習アルゴリズムとして解釈できることを示し、FedAvg と微調整段階（Reptile/Adam）を組み合わせて個人化を向上させ、非独立同分布（non-i.i.d.）のFL設定における初期モデル品質と収束速度を改善する Personalized FedAvg を提案する。

ABSTRACT

Federated Learning (FL) refers to learning a high quality global model based on decentralized data storage, without ever copying the raw data. A natural scenario arises with data created on mobile phones by the activity of their users. Given the typical data heterogeneity in such situations, it is natural to ask how can the global model be personalized for every such device, individually. In this work, we point out that the setting of Model Agnostic Meta Learning (MAML), where one optimizes for a fast, gradient-based, few-shot adaptation to a heterogeneous distribution of tasks, has a number of similarities with the objective of personalization for FL. We present FL as a natural source of practical applications for MAML algorithms, and make the following observations. 1) The popular FL algorithm, Federated Averaging, can be interpreted as a meta learning algorithm. 2) Careful fine-tuning can yield a global model with higher accuracy, which is at the same time easier to personalize. However, solely optimizing for the global model accuracy yields a weaker personalization result. 3) A model trained using a standard datacenter optimization method is much harder to personalize, compared to one trained using Federated Averaging, supporting the first claim. These results raise new questions for FL, MAML, and broader ML research.

研究の動機と目的

• データのヘテロ性の中で Federated Learning における個別化の必要性を動機づけ、形式化する。
• FedAvg と MAML 系のメタ学習手法との関係を明示する。
• 初期モデルの品質、個別化、迅速な収束を最適化するための2段階の FedAvg ベースのアプローチ（Personalized FedAvg）を提案する。
• FedAvg が本質的に個別化性能を最適化することを実証的に示し、微調整段階が個別化の安定性と効果を向上させる。
• グローバルモデルの精度が必ずしも強い個別化を保証しないことを強調し、FL および MAML 研究への示唆を論じる。

提案手法

• FedAvg をメタ学習プロセスとして解釈する; FedAvg を Reptile と一階/二階の MAML の要素と関連付ける。
• 特定の条件下で FedAvg が FedSGD と FOMAML の更新の線形結合に等しいことを示す。
• Propose Personalized FedAvg: (i) サーバー上で複数のローカルエポックとモーメントを用いた FedAvg を実行, (ii) 初期モデルを改善するために小さな K と Adam を用いた Reptile 風の微調整へ切り替え, (iii) トレーニングと同じクライアント最適化手法を用いて個別化を継続する。

実験結果

リサーチクエスチョン

• RQ1 FedAvg を FL における個別化指向のメタ学習アルゴリズムとして解釈できるか？
• RQ2 ローカルエポック数（K）と最適化手法の選択が個別化と初期モデル品質にどう影響するか？
• RQ3 2段階のトレーニング（FedAvg のトレーニングと Reptile/Adam での微調整）により、FL における初期性能と個別化性能の両方が向上するか？
• RQ4 異なるデータレジーム（すなわちクライアントデータの利用可能性と非 i.i.d. 設定）で個別化性能はどのように変化するか？

主な発見

実験/行の説明	初期精度	個別化精度	エポック/ノート（等価）
EMNIST-62 FedAvg E=2 (5 clients/round)	0.7473(0.0260)	0.8292(0.0061)	310.0/63.6
EMNIST-62 FedAvg E=5 (5 clients/round)	0.8028(0.0512)	0.8712(0.0049)	111.1/33.9
EMNIST-62 FedAvg E=10 (5 clients/round)	0.7879(0.0316)	0.8820(0.0023)	137.5/30.0
EMNIST-62 FedAvg E=20 (5 clients/round)	0.7430(0.0309)	0.8782(0.0021)	152.5/32.2
EMNIST-62 FedAvg E=2 (20 clients/round)	0.8403(0.0173)	0.8957(0.0011)	82.5/50.0
EMNIST-62 FedAvg E=5 (20 clients/round)	0.8471(0.0084)	0.9057(0.0017)	65.6/31.25
EMNIST-62 FedAvg E=10 (20 clients/round)	0.8480(0.0036)	0.9032(0.0017)	68.7/25.0
EMNIST-62 FedAvg E=20 (20 clients/round)	0.8391(0.0081)	0.8953(0.0022)	82.1/46.4
Shakespeare (5 clients/round) FedAvg results show similar trend but are not deeply detailed in this table	-	-	-
Shakespeare (20 clients/round) FedAvg results show similar trend but are not deeply detailed in this table	-	-	-

• FedAvg はグローバルな精度だけでなく、個別化された性能を本質的に最適化するメタ学習アルゴリズムとして見ることができる。
• 局所エポック数（E）を増やすと個別化はある程度改善されるが、初期モデルを不安定にする可能性がある。2段階アプローチは個別化を安定化・改善するのに役立つ。
• Reptile(K) と Adam を用いた初期モデルの微調整は、より広いハイパーパラメータ範囲でより良く、より安定した個別化性能をもたらす。
• 集中型で訓練された中心配置の初期モデルは、実用的な個別化シナリオの下で特に FedAvg で訓練されたモデルより個人化が難しい。
• 同じ精度を持つ異なるグローバルモデルは、個別化能力が大きく異なる可能性があり、FL 評価では個別化指標に焦点を当てる必要性を強調している。