[論文レビュー] GIFAIR-FL: An Approach for Group and Individual Fairness in Federated Learning.

Xubo Yue, Maher Nouiehed+1 more|arXiv (Cornell University)|Aug 5, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用数 12

ひとこと要約

GIFAIR-FL は、クライアントグループ間の損失差をペナルティ化する正則化項を導入することで、グループおよび個人の公平性を両立させるフェデレーテッドラーニングフレームワークである。この手法は、i.i.d. および non-i.i.d. データ条件下でも非凸および強く凸な設定で収束を示し、既存の手法に比べて公平性を向上させつつ、画像およびテキストタスクにおける高い精度を維持する。

ABSTRACT

In this paper we propose exttt{GIFAIR-FL}: an approach that imposes group and individual fairness to federated learning settings. By adding a regularization term, our algorithm penalizes the spread in the loss of client groups to drive the optimizer to fair solutions. Theoretically, we show convergence in non-convex and strongly convex settings. Our convergence guarantees hold for both $i.i.d.$ and non-$i.i.d.$ data. To demonstrate the empirical performance of our algorithm, we apply our method on image classification and text prediction tasks. Compared to existing algorithms, our method shows improved fairness results while retaining superior or similar prediction accuracy.

研究の動機と目的

• 異種のクライアントにおいて、同時にグループおよび個人の公平性を確保することで、フェデレーテッドラーニングにおける公平性を解決する。
• 予測精度を損なうことなく、異なるクライアントグループ間でのモデルパフォーマンスのバイアスを軽減する。
• i.i.d. および non-i.i.d. データ分布下での非凸および強く凸な最適化設定において、理論的収束保証を提供する。
• 画像分類およびテキスト予測などの実世界タスクにおいて、手法の経験的有効性を示す。
• 正則化メカニズムを通じて公平性制約を統合することで、公平性とモデルの有用性のバランスを図る。

提案手法

• クライアントグループ間の損失の分散をペナルティ化する公平性正則化項を導入し、パフォーマンスのバランスを促進する。
• グローバル損失関数に公平性に配慮した正則化成分を追加することで、標準のフェデレーテッドラーニング目的関数を変更する。
• 標準的な最適化解析技術を用いて、非凸および強く凸な設定の両方で理論的収束を保証する。
• 標準的なフェデレーテッドラーニングトレーニングパイプラインを用いて、画像分類およびテキスト予測タスクにこの手法を適用する。
• クライアント側の損失統計を用いて公平性ペナルティを計算することで、生データを共有せずに分散型実装を可能にする。
• ハイパーパramータチューニングにより、公平性正則化と主な最適化目的関数のトレードオフをバランスさせることで、モデル精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 統一された正則化アプローチは、フェデレーテッドラーニングにおけるグループおよび個人の公平性を効果的に強制できるか？
• RQ2 non-i.i.d. データ下での非凸および強く凸な設定における収束性に関して、提案手法はどのように性能を示すか？
• RQ3 公平性正則化は、モデル精度を劣化させることなく、どの程度公平性指標を向上させるか？
• RQ4 実世界のビジョンおよびNLPタスクにおいて、GIFAIR-FL は既存の公平性に配慮したフェデレーテッドラーニング手法に比べてどのように性能を発揮するか？
• RQ5 正則化項は、異なるグループのクライアント損失の分布にどのような影響を与えるか？

主な発見

• GIFAIR-FL は、non-i.i.i. データ分布下でも、非凸および強く凸な設定の両方で理論的収束を達成する。
• 画像分類およびテキスト予測ベンチマークにおいて、既存のフェデレーテッドラーニングアルゴリズムに比べ、改善された公平性指標を示す。
• 公平性正則化を組み込んでも、GIFAIR-FL は最先端のベースラインと同等または優れた予測精度を維持する。
• 正則化項は、クライアントグループ間の損失差を効果的に低減し、より公平なモデルパフォーマンスを実現する。
• 経験的結果から、モデルの有用性に顕著なトレードオフを伴わずに、公平性目的が達成されていることが確認される。
• 本手法は、i.i.i. および non-i.i.i. の両方のデータ分布に対して、多様な設定において頑健である。