[論文レビュー] Eliminating Domain Bias for Federated Learning in Representation Space

Jianqing Zhang, Hua Yang+6 more|arXiv (Cornell University)|Nov 25, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、フェデレーテッドラーニングにおける表現バイアスと劣化を、クライアント固有の表現バイアスを個人用メモリに分離し、平均正則化によって共有グローバル平均を強制することで、非同一分布データ環境下で緩和する、新しいフレームワークであるドメインバイアスエリミネーター（DBE）を提案する。DBEは一般化性能とパーソナライゼーション性能を向上させ、最先端のパーソナライズドFL手法を最大11.36%の精度向上で上回り、表現の複雑さ（MDL）を最大22.35%まで低減する。

ABSTRACT

Recently, federated learning (FL) is popular for its privacy-preserving and collaborative learning abilities. However, under statistically heterogeneous scenarios, we observe that biased data domains on clients cause a representation bias phenomenon and further degenerate generic representations during local training, i.e., the representation degeneration phenomenon. To address these issues, we propose a general framework Domain Bias Eliminator (DBE) for FL. Our theoretical analysis reveals that DBE can promote bi-directional knowledge transfer between server and client, as it reduces the domain discrepancy between server and client in representation space. Besides, extensive experiments on four datasets show that DBE can greatly improve existing FL methods in both generalization and personalization abilities. The DBE-equipped FL method can outperform ten state-of-the-art personalized FL methods by a large margin. Our code is public at https://github.com/TsingZ0/DBE.

研究の動機と目的

• 統計的非同一性下でのフェデレーテッドラーニングにおいて、表現バイアスおよび各層ごとの表現劣化を特定・解決すること。
• 非IIDデータ環境下における既存のFL手法の一般化性能とパーソナライゼーション性能を向上させること。
• ローカル表現をグローバル平均と一致させることで、サーバーとクライント間の双方向的知識移転を可能にすること。
• 既存のFL手法（例：FedAvgを含む）と互換性があり、汎用的かつ即時適用可能なフレームワークを提供すること。
• 視覚および自然言語処理のベンチマークにおいて、DBEの最先端のパーソナライズドFL手法に対する優位性を実証的に検証すること。

提案手法

• DBEは、各クライントでクライアント固有の表現バイアスを格納・分離するためのパーソナライズド表現バイアスメモリ（PRBM）を導入する。
• ローカルトレーニング中に、ローカル特徴抽出器が共有グローバル平均を中心に表現を生成するよう、平均正則化（MR）を適用する。
• 表現空間を2段階に分割する：クライントに依存しないグローバル平均とクライント固有のバイアス。これにより表現学習における対立を軽減する。
• モデルアグリゲーションを変更せずにローカルトレーニングに統合されるため、プライバシーと通信効率を維持する。
• 表現品質は、モデルやデータに依存しない指標として、最小記述長（MDL）で測定される。
• 理論的分析により、DBEは一般化境界を低減させ、サーバーとクライント間の双方向的知識移転を可能にすることが示された。

実験結果

リサーチクエスチョン

• RQ1 統計的非同一性下でのフェデレーテッドラーニングにおいて、ローカルトレーニングの過程で表現バイアスはどのように生じるのか？
• RQ2 一般的な表現からクライアント固有のバイアスを分離することで、表現劣化はどの程度軽減可能か？
• RQ3 表現空間に共有グローバル平均を強制することで、一般化性能とパーソナライゼーション性能の両方が向上するか？
• RQ4 DBEは、最先端のパーソナライズドFL手法と比較して、精度および表現品質の面でどの程度優れているか？
• RQ5 DBEは、実世界のIoTやモバイルセンシング環境を含む多様なデータ分布下でも性能を維持するか？

主な発見

• DBEは、FedAvgと比較して表現の複雑さ（MDL）を最大22.35%まで低減し、より優れた一般表現品質を示している。
• FedAvg+DBEは、FedAvgと比較して最大32.30%の精度向上を達成し、パーソナライゼーション性能の顕著な向上を示している。
• 複数のベンチマークにおいて、DBEは10の最先端パーソナライズドFL手法を最大11.36%のテスト精度向上で上回った。
• HARデータセットでは、FedAvg+DBEが94.53%の精度を達成し、APFL（92.18%）やFedFomo（63.39%）といった高度な手法を上回った。
• 高いデータ非同一性（例：β=0.01のディリクレ分布）および多数のローカルエポック下でも、強固な性能を維持した。
• t-SNE可視化により、DBEがクライアント固有のクラスタリングを軽減し、表現空間におけるクラス分離性を向上させていることが確認された。