[論文レビュー] E2FL: Equal and Equitable Federated Learning

Hamid Mozaffari, Amir Houmansadr|arXiv (Cornell University)|May 20, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

E2FLは、ランク付きエッジ投票による複数のグローバルモデルの訓練と集約を通じて、個々のクライアント間でのパフォーマンスの平等（平等性）とクライアントグループ間でのパフォーマンスの公平性（正義性）を両立する、フェデレーテッドラーニングの新規フレームワークを提案する。q-FFL や IFCA といったベースラインと比較して、クライアントの分散とグループの分散をそれぞれ93%および95%低減するとともに、バイナリマスクの交換により通信コストを削減する。

ABSTRACT

Federated Learning (FL) enables data owners to train a shared global model without sharing their private data. Unfortunately, FL is susceptible to an intrinsic fairness issue: due to heterogeneity in clients' data distributions, the final trained model can give disproportionate advantages across the participating clients. In this work, we present Equal and Equitable Federated Learning (E2FL) to produce fair federated learning models by preserving two main fairness properties, equity and equality, concurrently. We validate the efficiency and fairness of E2FL in different real-world FL applications, and show that E2FL outperforms existing baselines in terms of the resulting efficiency, fairness of different groups, and fairness among all individual clients.

研究の動機と目的

• 非均質なクライアントデータ分布が引き起こすフェデレーテッドラーニングにおける本質的公平性の格差を是正すること。
• フェデレーテッドラーニングにおいて、ユーザー単位の公平性（平等性）とグループ単位の公平性（正義性）を同時に達成すること。
• すべてのクライアントグループ間での知識共有を維持しながら、パフォーマンスギャップを最小限に抑える効率的なFLアルゴリズムを設計すること。
• 公平性や有用性を損なわせることなく、既存のマルチモデルFLアプローチに比べて通信オーバーヘッドを低減すること。

提案手法

• 標準の勾配ベースのモデル集約を、ランダムに初期化されたスーパーネットにおけるニューラルネットワークエッジ重要度のランクベース集約に置き換える。
• グループ固有のランクの多数決投票を用いて正義性を強制し、各グループがグローバルモデルに等しい影響を持つように保証する。
• 各クライアントが自身のグループ固有グローバルランクを選択可能にする仕組みを導入することで、クライアントレベルの平等性を実現する。
• 固定ノルムのローカルランクを活用して、大きなパrameter更新によるバイアスを回避し、寄与の影響をバランスさせる。
• グループIDの推定に3つの手法を導入：サーバー側のランククラスタリング、クライアント側の損失最小化、勾配ベースのエントロピー最適化（バイナリサーチューやOneShot）。
• グループランクから導出されるバイナリマスクのみを交換することで、通信コストをIFCAの62.0 MBから5.99 MBにまで低減する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、個々のクライアントとグループの両レベルで同時に公平性を達成できるか？
• RQ2 多数派グループにバイアスがかかるのを避けるために、多様なクライアントグループ間での知識共有をどのように維持できるか？
• RQ3 勾配ベース集約と比較して、ランクベース集約を用いる場合の通信コストとパフォーマンスのトレードオフは何か？
• RQ4 保護属性（グループID）が不明な状況で、さまざまなグループ推定戦略の有効性はどの程度か？
• RQ5 1つのモデルアーキテクチャが、公平なグループパフォーマンスと等しい個々のクライアントパフォーマンスの両方を満たすことができるか？

主な発見

• E2FLは、FedAvgと比較してクライアントパフォーマンス分散を93%、グループパフォーマンス分散を95%低減し、q-FFL や IFCA より顕著に優れた性能を示す。
• FEMNISTデータセットでは、グループアイデンティティが不明な状態でも、平均精度を2.5%向上させながらクライアント分散を24%低減する。
• E2FLの通信コストは1ラウンドあたりたったの5.99 MBであり、IFCAの62.0 MBと比較して90%削減されている。これは、全モデル重みの代わりにバイナリマスクを交換することで実現された。
• q-FFLは平等性を4%向上させるが、FedAvgと比較して正義性を81%悪化させるため、公平性の次元間にはトレードオフが存在することが示された。
• ランククラスタリングと最低損失グループ推定法が、OneShot最適化よりも優れている。これは、より繰り返しの多いグループメンバーシップの精錬が可能だからである。
• q-FFLとは異なり、E2FLは多数派とマイノリティの両グループで高い有用性と公平性を維持している。