[論文レビュー] Personalized Federated Learning with Feature Alignment and Classifier Collaboration

Jian Xu, Xinyi Tong+1 more|arXiv (Cornell University)|Jun 20, 2023

Privacy-Preserving Technologies in Data被引用数 35

ひとこと要約

FedPACは、非IIDフェデレーテッドラーニングにおいて、局所–全体の特徴整合と最適なクライアント間分類器協調を明示的に導入することで、パーソナライズドモデルを強化し、ベンチマーク全体で精度を向上させる。

ABSTRACT

Data heterogeneity is one of the most challenging issues in federated learning, which motivates a variety of approaches to learn personalized models for participating clients. One such approach in deep neural networks based tasks is employing a shared feature representation and learning a customized classifier head for each client. However, previous works do not utilize the global knowledge during local representation learning and also neglect the fine-grained collaboration between local classifier heads, which limit the model generalization ability. In this work, we conduct explicit local-global feature alignment by leveraging global semantic knowledge for learning a better representation. Moreover, we quantify the benefit of classifier combination for each client as a function of the combining weights and derive an optimization problem for estimating optimal weights. Finally, extensive evaluation results on benchmark datasets with various heterogeneous data scenarios demonstrate the effectiveness of our proposed method. Code is available at https://github.com/JianXu95/FedPAC

研究の動機と目的

• データのヘテロジニティ下でフェデレーテッドラーニングにおけるパーソナライズの必要性を動機づける。
• ローカル表現をグローバル特徴のセントロイドへ整列させるフレームワークを提案する。
• 最適化された重み付けでクライアント固有の分類器結合を導入する。
• 分類器融合における偏り-分散トレードオフに関する理論的洞察を提供する。
• ベンチマークデータセットを横断して頑健性と有効性を示す。

提案手法

• ネットワークを共有特徴抽出器とクライアントごとの分類器ヘッドにデカップリングする。
• ローカル特徴をグローバルクラスセントロイドへ整列させる正則化項（特徴整合）を導入する。
• 非負重みの線形結合でクライアント固有の分類器を提案し、それらの和が1になる（α-weights）。
• クライアントの期待テスト損失を最小化する二次計画法の目的を定式化し、最適なα-weightsを得る。
• 分類器協調の偏り-分散トレードオフに関する解析的洞察を導出（χ^2ベースのテスト損失）。
• 特徴のサーバー側集約とα-weightsの計算を伴う交互最適化トレーニング方式を説明する。

実験結果

リサーチクエスチョン

• RQ1 グローバル知識は、個別化FLにおける特徴ドリフトを軽減するための局所表現学習をどう導くことができるか？
• RQ2 最適なクライアント間分類器協調は、無関係なクライアントに害を及ぼさずにパーソナライズを向上させることができるか？
• RQ3 PFLにおける分類器融合と偏り-分散トレードオフの理論的関係は何か？
• RQ4 データヘテロogeneityと概念シフトの変化の下で、FedPACはどのように性能を示すか？

主な発見

• FedPACは強力なベースラインと比較してデータセット全体で平均精度を向上させる。
• 特徴整合は表現ドリフトを抑制し、一般化性能を向上させる。
• 適応的分類器結合により性能向上が得られ、FAとCCの両方が寄与する。
• 本手法は異なるレベルのヘテロogeneityや概念シフトにも頑健。
• ベンチマークで平均2–5%の精度向上を観察。