[論文レビュー] Proportional Fairness in Federated Learning

Guojun Zhang, Saber Malekmohammadi+2 more|arXiv (Cornell University)|Feb 3, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本論文は、フェデレーテッドラーニングにおける新しい公平性基準として、相対的改善に基づいてクライアントのパフォーマンスを評価する割合的公平性（PF）を導入する。著者らは、相対的利得に基づくサーヴィスロスを最適化することでPF解を近似する効率的なアルゴリズムPropFairを提案し、視覚および言語のベンチマークにおいて、平均的パフォーマンスと最悪ケースのクライアントパフォーマンスの間で良好なトレードオフを達成する。

ABSTRACT

With the increasingly broad deployment of federated learning (FL) systems in the real world, it is critical but challenging to ensure fairness in FL, i.e. reasonably satisfactory performances for each of the numerous diverse clients. In this work, we introduce and study a new fairness notion in FL, called proportional fairness (PF), which is based on the relative change of each client's performance. From its connection with the bargaining games, we propose PropFair, a novel and easy-to-implement algorithm for finding proportionally fair solutions in FL and study its convergence properties. Through extensive experiments on vision and language datasets, we demonstrate that PropFair can approximately find PF solutions, and it achieves a good balance between the average performances of all clients and of the worst 10% clients. Our code is available at \url{https://github.com/huawei-noah/Federated-Learning/tree/main/FairFL}.

研究の動機と目的

• フェデレーテッドラーニングにおける公平性を改善するため、絶対的な損失ではなく相対的改善に基づいてクライアントパフォーマンスを評価する割合的公平性（PF）を導入すること。
• 理論的収束保証を備えた実用的で新しいアルゴリズム—PropFair—を提案し、非凸なフェデレーテッドラーニング設定において割合的公平解を近似すること。
• 既存の公平なFL手法と比較して、平均的クライアントパフォーマンスと最悪の上位10%のクライアントパフォーマンスの間のトレードオフがどのように改善されるかを実証的に検証すること。
• 体系的なハイパーパrameterチューニングを伴う包括的な公平なFLアルゴリズムのベンチマークを提供し、今後の研究を促進すること。

提案手法

• PropFairは、クライアント間の相対的利得の積を最大化することで、ナッシュ交渉解として割合的公平性を定式化する。
• 相対的改善を促進するため、クライアントの貢献度をその相対的パフォーマンス向上に基づいて重み付けするサーヴィスロス関数を導入する。
• 非凸なニューラルネットワーク学習の性質を扱いながらも公平性の目的を維持するため、ラグランジュ緩和を用いた双対最適化フレームワークを採用する。
• やや弱い仮定のもとで、静的点への収束が理論的に証明され、提案された統一フレームワークは他のFLアルゴリズムへ一般化可能である。
• クライアント損失のソフトマックスベースの変換による重み付けを施した、標準的なFLトレーニングループを用いて実装される。
• 既存のFLフレームワークと後方互換性を持つように設計されており、FedAvgスタイルのトレーニングパイプラインへの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 相対的パフォーマンス変化に基づく割合的公平性は、ユーティタリアン的またはエゴイスト的アプローチと比較して、フェデレーテッドラーニングにおけるより直感的でバランスの取れた公平性基準として機能するか？
• RQ2 非凸なFL設定と異種クライアントを想定した状況において、割合的公平解を近似する実用的で収束性を有するアルゴリズムをどのように設計できるか？
• RQ3 FedAvg、AFL、q-FFLなどの既存の公平なFL手法と比較して、PropFairは平均的パフォーマンスと最悪ケースクライアントパフォーマンスの間でどのようなトレードオフを達成するか？
• RQ4 現実的なクライアントの非均質性を想定した状況で、現代のニューラルネットワークアーキテクチャを用いた多様な視覚および言語ベンチマークにおいて、PropFairはどのように性能を発揮するか？
• RQ5 ハイパーパrameterチューニングを伴う体系的なベンチマークは、公平なFLにおけるPFベースの手法に一貫した利点を示すか？

主な発見

• PropFairは、クライアント間の相対的利得がバランスされており、劣化しないことから、フェデレーテッドラーニングにおける割合的公平解を効果的に近似していることが裏付けられた。
• 視覚および言語のデータセットにおいて、PropFairはFedAvg、AFL、q-FFLと比較して、平均的クライアントパフォーマンスと最悪の上位10%のクライアントパフォーマンスの間で優れたトレードオフを達成した。
• やや弱い仮定のもとで、静的点への収束が理論的に証明され、実用的パフォーマンスの裏付けとなる理論的基盤が得られた。
• 実験結果から、PropFairは高い平均的パフォーマンスを維持するとともに、最悪ケースのクライアントパフォーマンスを顕著に改善し、非均質なクライアント間のパフォーマンス格差を縮小することが示された。
• 体系的なハイパーパrameterチューニングを伴う包括的なベンチマークにより、PropFairが多様な設定において、既存の公平なFLベースラインを常に上回るか、同等の性能を発揮することが明らかになった。
• https://github.com/huawei-noah/Federated-Learning/tree/main/FairFL にてコードをオープンソース化したことで、公平なFL分野における再現性と今後の研究が促進される。