[論文レビュー] GIFAIR-FL: A Framework for Group and Individual Fairness in Federated Learning

Xubo Yue, Maher Nouiehed+1 more|arXiv (Cornell University)|Aug 5, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、クライアントグループ間の損失差をペナルティとする正則化項を導入することで、グループおよび個人の公平性を両立する新しいフェデレーテッドラーニングフレームワーク、GIFAIR-FLを提案する。この手法は、i.i.d.および非i.i.d.データの下で非凸および強い凸な設定において収束を保証し、画像分類およびテキスト予測タスクにおいて精度を犠牲にすることなく、公平性を向上させる。

ABSTRACT

In this paper we propose exttt{GIFAIR-FL}: a framework that imposes extbf{G}roup and extbf{I}ndividual extbf{FAIR}ness to extbf{F}ederated extbf{L}earning settings. By adding a regularization term, our algorithm penalizes the spread in the loss of client groups to drive the optimizer to fair solutions. Our framework exttt{GIFAIR-FL} can accommodate both global and personalized settings. Theoretically, we show convergence in non-convex and strongly convex settings. Our convergence guarantees hold for both $i.i.d.$ and non-$i.i.d.$ data. To demonstrate the empirical performance of our algorithm, we apply our method to image classification and text prediction tasks. Compared to existing algorithms, our method shows improved fairness results while retaining superior or similar prediction accuracy.

研究の動機と目的

• データ量やリソースが限られたクライアントがモデル学習において疎外されるフェデレーテッドラーニングにおける公平性の格差を是正すること。
• 性的・データ分布グループごとのグループ公平性と、クライアントごとの個人公平性を同時に強制する統合フレームワークの開発。
• 非凸および強い凸な目的関数に対して、i.i.d.および非i.i.i.d.データ分布の下で理論的収束保証を提供すること。
• 実世界のタスク、例えば画像分類およびテキスト予測において、フレームワークの実証的妥当性を検証し、高い精度を維持しながら公平性を向上させること。

提案手法

• グループ間のクライアント損失の分散をペナルティとする正則化項をグローバル目的関数に導入し、性能のバランスを促進する。
• グループレベルの損失分散に基づいて重み付けされたアグリゲーション方式を採用し、より公平な収束を促進する。
• 非凸および強い凸な設定において収束を保証する収束解析フレームワークを構築し、期待される勾配ノルムの境界を確立する。
• モデル更新プロセスに公平性正則化を統合することで、グローバルおよびパーソナライズドなフェデレーテッドラーニング設定を両方サポートする。
• 期待される勾配ノルムおよび最適性ギャップの理論的境界を導出し、減少ステップサイズの下で収束を示す。
• FEMNISTなどの標準ベンチマークを用いて画像およびテキストタスクにこの手法を適用し、公平性ハイパーパrameter λ の感度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、モデル精度を損なうことなく、フェデレーテッドラーニングにおけるグループ公平性と個人公平性の両方を効果的に強制できるか？
• RQ2 提案された正則化項は、i.i.d.および非i.i.i.d.データの下で、非凸および強い凸な最適化設定における収束にどのように影響するか？
• RQ3 公平性ハイパーパrameter λ は、異なるクライアントグループにおける公平性とモデルパフォーマンスのトレードオフにどのような影響を及けるか？
• RQ4 実世界のタスクにおいて、既存の公平性に配慮したフェデレーテッドラーニング手法と比較して、GIFAIR-FLは公平性指標および精度の点で優れているか？
• RQ5 GIFAIR-FLの理論的収束保証は、パーソナライズドなフェデレーテッドラーニング設定へと拡張可能か？

主な発見

• GIFAIR-FLはグループ間損失差を顕著に低減し、感度分析により λ を増加させることでグループパフォーマンス指標の差が縮小することが示された。
• 非i.i.d.データ分布下でも、ベースライン手法と比較して予測精度を維持または向上させた。
• 理論的解析により、非凸および強い凸な設定において収束が保証され、減少ステップサイズの下で期待される勾配ノルムが O(1/√T) のレートで減少することが示された。
• グローバルおよびパーソナライズドなFL設定の両方に対して収束境界が導出され、データの非均一性およびクライアントの分散に明示的な依存関係が示された。
• FEMNISTおよびテキスト予測タスクにおける実証的結果から、すべてのクライアントグループにおいて一貫した公平性の向上が確認され、特に少数派または低データクライアントにおいて顕著であった。
• 本手法は多様なデータ分布に対して頑健であり、複数の通信ラウンドにわたり安定したパフォーマンスを示し、精度の低下が最小限に抑えられた。