[論文レビュー] FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data

Tailin Zhou, Jun Zhang+1 more|arXiv (Cornell University)|Nov 17, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedFAは、データの非独立同分布性下で特徴量の不一致と分類器の乖離という悪循環を解消するための特徴アーキテクチャを用いた、フェデレーテッドラーニングの新規フレームワークを提案する。特徴アーキテクチャを介してクライアントの特徴量を同時に統一・補正することで、ラベル分布および特徴量分布の偏りが生じる状況下でも、SOTAの性能を達成し、特徴量と分類器の最適化を統合することで、最大22.37%の精度向上を実現する。

ABSTRACT

Federated learning allows multiple clients to collaboratively train a model without exchanging their data, thus preserving data privacy. Unfortunately, it suffers significant performance degradation due to heterogeneous data at clients. Common solutions involve designing an auxiliary loss to regularize weight divergence or feature inconsistency during local training. However, we discover that these approaches fall short of the expected performance because they ignore the existence of a vicious cycle between feature inconsistency and classifier divergence across clients. This vicious cycle causes client models to be updated in inconsistent feature spaces with more diverged classifiers. To break the vicious cycle, we propose a novel framework named Federated learning with Feature Anchors (FedFA). FedFA utilizes feature anchors to align features and calibrate classifiers across clients simultaneously. This enables client models to be updated in a shared feature space with consistent classifiers during local training. Theoretically, we analyze the non-convex convergence rate of FedFA. We also demonstrate that the integration of feature alignment and classifier calibration in FedFA brings a virtuous cycle between feature and classifier updates, which breaks the vicious cycle existing in current approaches. Extensive experiments show that FedFA significantly outperforms existing approaches on various classification datasets under label distribution skew and feature distribution skew.

研究の動機と目的

• データの非独立同分布性、特にラベル分布および特徴量分布の偏りによって引き起こされる性能劣化を是正すること。
• 既存の正則化手法の有効性を損なう、特徴量の不一致と分類器の乖離の悪循環を特定・解消すること。
• クライアント間で共有される特徴空間において、特徴量の統一と分類器の補正を同時に実現する統合フレームワークを設計すること。
• 特徴量と分類器の最適化を統合することで、収束性と一般化性能を向上させる善循環が形成されることを示すこと。
• FedFAの有効性を、多様なデータ非独立同分布性のシナリオ、極端な偏りを伴う状況を含めて検証すること。

提案手法

• 各クラスごとに学習可能なプロトタイプ（特徴アーキテクチャ）を導入し、異なるデータ分布下でのクライアント特徴量の統一に共通の基準点を提供する。
• 特徴アーキテクチャを用いてクライアントの特徴量を共有特徴空間に射影することで、局所学習中のクライアント間の特徴量不一致を低減する。
• モーメンタムに基づく更新を用いてクラス固有のアーキテクチャを更新することで、分類器の補正を実現し、クライアント間の分類器乖離を低減する。
• 二重最適化メカニズムを採用：アーキテクチャによる特徴量統一と、モーメンタムを用いた分類器補正を組み合わせ、特徴量と分類器の更新に善循環を生じさせる。
• 特徴アーキテクチャの更新を、クライアント勾配を用いて通信ラウンドごとに更新する、変更を加えたFedAvgアルゴリズムと統合する。
• フレームワークは、特徴抽出器と分類器が同一のアーキテクチャ基準空間に従って更新されることで、一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 特徴量の不一致と分類器の乖離が共存することで、性能劣化を助長する自己強化的悪循環が生じるか？
• RQ2 共通の特徴アーキテクチャを用いた特徴量統一と分類器補正により、この悪循環を解消し、収束性と精度を向上させられるか？
• RQ3 アーキテクチャ更新のモーメンタム係数やアーキテクチャの初期化といったハイパーパrameterに、FedFAはどれほど感受性を示すか？
• RQ4 トレーニング中における早期かつ継続的な分類器補正は、トレーニング後での補正よりも優れた性能をもたらすか？
• RQ5 FedFAは、極端なラベル分布および特徴量分布の偏りを伴う多様なデータ非独立同分布性シナリオに一般化可能か？

主な発見

• ラベル分布および特徴量分布の偏りが生じる状況下で、FedFAはFedAvgや他のSOTA手法を大きく上回り、両方の偏りが存在する状況で最大22.37%の精度向上を達成する。
• 性能向上の大部分は分類器補正に起因し、両方の偏りが存在する状況で22.37%の精度向上を示しており、分類器の乖離を是正する重要性が浮き彫りになる。
• アーキテクチャ更新のモーメンタム係数に大きな感度を示さず、広い範囲の値で安定した性能を維持する。
• アーキテクチャの初期化は長期的影響が小さく、アーキテクチャの更新が初期差を素早く是正することで、安定した収束が保証される。
• ミニバッチの終了直後に分類器補正を実施すると最良の性能が得られ、分類器の乖離を早期かつ継続的に是正することが不可欠であることが示唆される。
• トレーニング中補正を実施するFedFAは、FMNISTで#C=2およびラベル偏りの条件下で84.90%の精度を達成し、補正なしのFedFA（76.81%）やトレーニング後補正のFedAvg（75.95%）を上回る。