[論文レビュー] Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning

Jun Luo, Shandong Wu|arXiv (Cornell University)|Oct 15, 2021

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、データやグローバルモデルの更新を共有せずに、各クライントが他のクライントのモデルからどれだけ利益を得られるかを、クライント固有の有向関係（DR）を適応的に学習する、パーソナライズドなクロスシロ分散学習フレームワークであるAPPLEを提案する。DRベクトルを動的にペナルティ化することで、グローバルおよびローカルの学習目的の間で柔軟にバランスをとることができ、通信予算が限られた状況下でも、非IIDベンチマークおよび医療画像データセットで最先端の性能を達成する。

ABSTRACT

Conventional federated learning (FL) trains one global model for a federation of clients with decentralized data, reducing the privacy risk of centralized training. However, the distribution shift across non-IID datasets, often poses a challenge to this one-model-fits-all solution. Personalized FL aims to mitigate this issue systematically. In this work, we propose APPLE, a personalized cross-silo FL framework that adaptively learns how much each client can benefit from other clients' models. We also introduce a method to flexibly control the focus of training APPLE between global and local objectives. We empirically evaluate our method's convergence and generalization behaviors, and perform extensive experiments on two benchmark datasets and two medical imaging datasets under two non-IID settings. The results show that the proposed personalized FL framework, APPLE, achieves state-of-the-art performance compared to several other personalized FL approaches in the literature. The code is publicly available at https://github.com/ljaiverson/pFL-APPLE.

研究の動機と目的

• 非IIDなデータ分布によってグローバルモデルの性能が低下する、クロスシロ分散学習におけるデータ非同一性の課題に対処する。
• 他のクライントのデータ分布の知識を必要としないクライント中心のアプローチを構築し、モデルのパーソナライズを実現する。
• 学習可能な有向関係（DR）を通じて、各クライントが他のクライントのモデルからどれだけ利益を得られるかを適応的に学習することで、パーソナライズを動的に実現する。
• 完全なパーソナライズドモデルや生データを共有しないことで、プライバシーリスクを低減する。
• 適切なモデルのダウンロードを知的に選択することで、限られた通信予算下でも強力な一般化性能と収束性を達成する。

提案手法

• 各クライントは、他のクライントからダウンロードしたコアモデルと、それらを重みづけする学習可能なDRベクトルを用いて、ローカルなパーソナライズドモデルを訓練する。
• クライントはサーバーに自身のコアモデルのみをアップロードし、サーバーはそれを変更せずに保存・配布する。
• 各クライントのDRベクトルは、グローバルとローカルの学習目的のバランスを動的に制御するプロキシペナルティを介して学習される。
• DR学習プロセスにより、データ分布が類似したクライントからのコアモデルを優先し、関連性が低いか有害なモデルを抑制する。
• 動的なペナルティメカニズムにより、トレーニング中にグローバルな合意とクライント固有のパーソナライズの間で柔軟なトレードオフを実現できる。
• DRベクトルやパーソナライズドモデルを共有しないことで、クライントのプライバシーを保護する。

実験結果

リサーチクエスチョン

• RQ1 通信制約下で、プライバシーを損なわず、顕著なデータ非同一性に対処できる分散学習の適応法は何か？
• RQ2 他のクライントのデータ分布の知識が得られない状況下でも、クライントに依存しないモデル適応戦略を学習可能か？
• RQ3 適応的モデルパーソナライズは、非IID分散学習における一般化性能と収束性をどの程度向上できるか？
• RQ4 通信制約環境下での本フレームワークの性能はいかがなものか？
• RQ5 強いプライバシー保証を維持しながら、最先端の性能を達成できるか？

主な発見

• APPLEは、非IID設定下で、ベンチマーク（CIFAR10, PathMNIST）および医療画像（OrganMNIST, PathMNIST）データセットの両方で最先端の性能を達成した。
• 病理的非IID設定では、CIFAR10においてAPPLEはFedFomoを上回った（93.55% vs. 83.35%）、OrganMNIST（axial）でも同様に優れた結果（98.52% vs. 91.54%）を示したが、PathMNISTではFedFomoが優れていた。
• 実用的非IID設定では、APPLEはすべてのデータセットでFedFomoを一貫して上回った。特に通信予算が低い場合（例：M=1）でも同様の傾向を示した。
• 通信予算が限られている（M=1）状況下でも、APPLEは高い性能を維持した。これは、DRを介した知的なモデル選択により、多数のモデルをダウンロードする必要が減ることを示している。
• DRの可視化により、クライントがデータ分布が類似したクライントからのコアモデルに高い重みを割り当てていることが確認され、適応的学習メカニズムの有効性が裏付けられた。
• 自己関係（p_i,i）が他のDRよりも常に高く維持された。これは、各クライントが自らのコアモデルを優先していることを確認している。