[論文レビュー] Improving Fairness via Federated Learning

Yuchen Zeng, Hongxu Chen+1 more|arXiv (Cornell University)|Oct 29, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 32

ひとこと要約

要約: 本論文は、フェデレーテッドラーニングが locally trained ensembles より公正性を向上させることを示し、FedAvg-based アプローチの公正性-精度ギャップを分析し、FedFB、Federated FairBatch アルゴリズムを導入して中央集権的な公正学習に密接に一致しつつプライバシーを保護します。

ABSTRACT

Recently, lots of algorithms have been proposed for learning a fair classifier from decentralized data. However, many theoretical and algorithmic questions remain open. First, is federated learning necessary, i.e., can we simply train locally fair classifiers and aggregate them? In this work, we first propose a new theoretical framework, with which we demonstrate that federated learning can strictly boost model fairness compared with such non-federated algorithms. We then theoretically and empirically show that the performance tradeoff of FedAvg-based fair learning algorithms is strictly worse than that of a fair classifier trained on centralized data. To bridge this gap, we propose FedFB, a private fair learning algorithm on decentralized data. The key idea is to modify the FedAvg protocol so that it can effectively mimic the centralized fair learning. Our experimental results show that FedFB significantly outperforms existing approaches, sometimes matching the performance of the centrally trained model.

研究の動機と目的

• フェデレーテッドラーニングがローカルトレーニングと集約による方法と比較して、分散型の公正な学習に本当に必要かを評価する。
• LFT+Ensemble、LFT+FedAvg、そして Centralized Fair Learning (CFL) の公正性-精度トレードオフを特徴づける。
• CFL のパフォーマンスに近づく、フェデレーテッドでプライバシー保護された公正学習アルゴリズム（FedFB）を開発する。
• 提案フレームワークと FedFB に対する理論的保証と実証的証拠を提供する。

提案手法

• デモグラフィックパリティの下で LFT+Ensemble、LFT+FedAvg、CFL を比較する理論的枠組みを開発する。
• データのヘテogeneity の下で、公正性-精度のトレードオフにおいて LFT+Ensemble < LFT+FedAvg < CFL が成り立つことを示す。
• FairBatch のフェデレーテッド拡張である FedFB を提案し、公正性のためにサブグループ損失を再重み付けするための bi-level 目的を用いる。
• セキュア集約を用いて各グループの統計量 F_a を計算し、ラウンド間で再重み付け係数 λ を更新する。
• FedFB が最適な再重み付け λ* へ収束することを証明する（非公式な A=2 の場合の表現）。
• 実験を通じて、FedFB がしばしば CFL に匹敵し、ベースラインを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、エンサンブル集約を伴う局所的な公正訓練よりも厳密な公正性の利点を提供しますか？
• RQ2 データのヘテロジニティ下で、FedAvg ベースの公正学習は中央集権的な公正学習と精度-公正性のトレードオフの点でどう比較されますか？
• RQ3 フェデレーテッドな公正学習手法（FedFB）は、プライバシーを保ちながら、FedAvgベースのアプローチと中央集権的公正学習のギャップを埋めることができますか？
• RQ4 実務的な設定におけるFedFB の収束とプライバシーへの影響はどうなりますか？

主な発見

• LFT+Ensemble はいくつかの分布で完全なデモグラフィックパリティを達成できず、非ゼロの DP ディスパリティ（δ>0）を示す。
• LFT+FedAvg は LFT+Ensemble より公正性が高いが、観測された分布ではまだ CFL を下回る。
• CFL は最も良い精度-公正性のトレードオフを提供するが、プライバシーが漏れる（中央集権的データ）。
• FedAvg ベースのアプローチには CFL に対する公正性性能のギャップがあり、FedFB によって橋渡しが可能。
• FedFB は既存の分散型アプローチを大きく上回り、多くのケースで CFL パフォーマンスにほぼ匹敵する。
• FedFB は特定の条件（A=2）下で最適な再重み付け係数 λ* へ収束する。