[論文レビュー] PFLlib: A Beginner-Friendly and Comprehensive Personalized Federated Learning Library and Benchmark

Jianqing Zhang, Yang Liu+6 more|arXiv (Cornell University)|Dec 8, 2023

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

PFLlib は、34 の最先端FLおよびパーソナライズドFLアルゴリズムを実装する初心者向けライブラリと、ベンチマーク用の多様なシナリオとデータセットを備えた統合評価プラットフォームを提供します。

ABSTRACT

Amid the ongoing advancements in Federated Learning (FL), a machine learning paradigm that allows collaborative learning with data privacy protection, personalized FL (pFL)has gained significant prominence as a research direction within the FL domain. Whereas traditional FL (tFL) focuses on jointly learning a global model, pFL aims to balance each client's global and personalized goals in FL settings. To foster the pFL research community, we started and built PFLlib, a comprehensive pFL library with an integrated benchmark platform. In PFLlib, we implemented 37 state-of-the-art FL algorithms (8 tFL algorithms and 29 pFL algorithms) and provided various evaluation environments with three statistically heterogeneous scenarios and 24 datasets. At present, PFLlib has gained more than 1600 stars and 300 forks on GitHub.

研究の動機と目的

• 最新かつ拡張性のあるSOTA pFLおよび従来のFLアルゴリズムのライブラリを提供することで、pFL研究コミュニティの活性化を促進する。
• CV、NLP、 SSPタスクにまたがるヘテロジニアスなシナリオとデータセットで、再現可能な評価を促進する。
• DPやleakage_attackプローブなど、プライバシーを考慮した評価ツールを提供し、堅牢性とプライバシ保護を評価する。
• 研究者や実務家がpFL手法を学び、比較し、拡張する際の導入障壁を低くする。

提案手法

• 統一されたコードベースで34のアルゴリズム（7つのクラシックtFL + 27のpFL）を実装する。
• ラベルスキュー、特徴シフト、実世界のSSPシナリオという、3つの統計的に異質なシナリオを提供する。
• CV、NLP、SSPドメインにわたる14データセットをサポートする。
• Differential Privacy（差分プライバシー）やPSNR評価を伴うDeep Leakage from Gradients（DLG）攻撃などのプライバシ機能を組み込む。
• 新しいアルゴリズムとシナリオの追加を容易にする、serverX.py、clientX.py、main.py を含むシンプルで拡張性の高いAPIを設計する。
• 例コマンドと評価ワークフローを通じて使い勝手を示す。

実験結果

リサーチクエスチョン

• RQ1 統一された初心者向けライブラリで、拡張性を容易にしつつ、広範なSOTA FLおよびpFLアルゴリズムを網羅できるか？
• RQ2 異なる統計的異質性（ラベルスキュー、特徴シフト）およびCV、NLP、SSPタスク全体で、異なるpFL手法はどのように比較されるか？
• RQ3 プライバシー保護機構（DP、DLG評価）のアルゴリズム性能とプライバシー保証への影響は？
• RQ4 標準化された評価パイプラインを提供することで、迅速なベンチマークと手法開発を促進できるか？

主な発見

Settings	FMNIST (Pathological)	CIFAR-100 (Pathological)	TINY (Pathological)	FMNIST (Practical)	CIFAR-100 (Practical)	TINY (Practical)	TINY* (Practical)	AG News
FedAvg	80.41 ± 0.08	25.98 ± 0.13	14.20 ± 0.47	85.85 ± 0.19	31.89 ± 0.47	19.46 ± 0.20	19.45 ± 0.13	87.12 ± 0.19
FedProx	78.08 ± 0.15	25.94 ± 0.16	13.85 ± 0.25	85.63 ± 0.57	31.99 ± 0.41	19.37 ± 0.22	19.27 ± 0.23	87.21 ± 0.13
FedGen	79.76 ± 0.60	20.80 ± 1.00	13.82 ± 0.09	84.90 ± 0.31	30.96 ± 0.54	19.39 ± 0.18	18.53 ± 0.32	89.86 ± 0.83
Per-FedAvg	99.18 ± 0.08	56.80 ± 0.26	28.06 ± 0.40	95.10 ± 0.10	44.28 ± 0.33	25.07 ± 0.07	21.81 ± 0.54	87.08 ± 0.26
pFedMe	99.35 ± 0.14	58.20 ± 0.14	27.71 ± 0.40	97.25 ± 0.17	47.34 ± 0.46	26.93 ± 0.19	33.44 ± 0.33	87.08 ± 0.18
Ditto	99.44 ± 0.06	67.23 ± 0.07	39.90 ± 0.42	97.47 ± 0.04	52.87 ± 0.64	32.15 ± 0.04	35.92 ± 0.43	91.89 ± 0.17
APFL	99.41 ± 0.02	64.26 ± 0.13	36.47 ± 0.44	97.25 ± 0.08	46.74 ± 0.60	34.86 ± 0.43	35.81 ± 0.37	89.37 ± 0.86
FedFomo	99.46 ± 0.01	62.49 ± 0.22	36.55 ± 0.50	97.21 ± 0.02	45.39 ± 0.45	26.33 ± 0.22	26.84 ± 0.11	91.20 ± 0.18
FedAMP	99.42 ± 0.03	64.34 ± 0.37	36.12 ± 0.30	97.20 ± 0.06	47.69 ± 0.49	27.99 ± 0.11	29.11 ± 0.15	83.35 ± 0.05
APPLE	99.30 ± 0.01	65.80 ± 0.08	36.22 ± 0.40	97.06 ± 0.07	53.22 ± 0.20	35.04 ± 0.47	39.93 ± 0.52	84.10 ± 0.18
FedALA	99.57 ± 0.01	67.83 ± 0.06	40.31 ± 0.30	97.66 ± 0.02	55.92 ± 0.03	40.54 ± 0.02	41.94 ± 0.02	92.45 ± 0.10
FedPer	99.47 ± 0.03	63.53 ± 0.21	39.80 ± 0.39	97.44 ± 0.06	49.63 ± 0.54	33.84 ± 0.34	38.45 ± 0.85	91.85 ± 0.24
FedRep	99.56 ± 0.03	67.56 ± 0.31	40.85 ± 0.37	97.56 ± 0.04	52.39 ± 0.35	37.27 ± 0.20	39.95 ± 0.61	92.25 ± 0.20
FedRoD	99.52 ± 0.05	62.30 ± 0.02	37.95 ± 0.22	97.52 ± 0.04	50.94 ± 0.11	36.43 ± 0.05	37.99 ± 0.26	92.16 ± 0.12
FedBABU	99.41 ± 0.05	66.85 ± 0.07	40.72 ± 0.64	97.46 ± 0.07	55.02 ± 0.33	36.82 ± 0.45	34.50 ± 0.62	95.86 ± 0.41
FedCP	99.66 ± 0.04	71.80 ± 0.16	44.52 ± 0.22	97.89 ± 0.05	59.56 ± 0.08	43.49 ± 0.04	44.18 ± 0.21	92.89 ± 0.10
GPFL	99.85 ± 0.08	71.78 ± 0.26	44.58 ± 0.06	97.81 ± 0.09	61.86 ± 0.31	43.37 ± 0.53	43.70 ± 0.44	97.97 ± 0.14
FedAvg+DBE	99.74 ± 0.04	73.38 ± 0.18	42.89 ± 0.29	97.69 ± 0.05	64.39 ± 0.27	43.32 ± 0.37	42.98 ± 0.52	96.87 ± 0.18
FedDistill	99.51 ± 0.03	66.78 ± 0.15	37.21 ± 0.25	97.43 ± 0.04	49.93 ± 0.23	30.02 ± 0.09	29.88 ± 0.41	85.76 ± 0.09
FedProto	99.49 ± 0.04	69.18 ± 0.03	36.78 ± 0.07	97.40 ± 0.02	52.70 ± 0.33	31.21 ± 0.16	26.38 ± 0.40	96.34 ± 0.58

• PFLlib は 34 アルゴリズム（7 tFL + 27 pFL）を実装し、マルチタスク評価環境を提供します。
• ベンチマークは CV、NLP、SSP にわたる14データセットを対象とし、ラベルスキューおよび特徴シフトの異質性シナリオを含みます。
• 実証結果（選択されたCVおよびNLPタスクで）は、異なるスキュー設定の下で手法間の性能差を示し、手法とシナリオの適合性の重要性を示しています。
• ライブラリはコミュニティの関心を集めており、GitHubの活動は関連プロジェクトによる採用と適応を示しています。
• PFLlib は再現可能な実験と容易な拡張を可能にし、将来のアルゴリズムやシナリオの追加をサポートします。