[論文レビュー] Training Fair Models in Federated Learning without Data Privacy Infringement

Che, Xin, Hu, Jingdi+3 more|arXiv (Cornell University)|Sep 13, 2021

Privacy-Preserving Technologies in Data参考文献 58被引用数 19

ひとこと要約

本稿では、データの機微性を損なわず、クロスシロ設定における公平な機械学習モデルの学習を可能にする、新しいフェデレーテッドラーニングフレームワーク、FedFairを提案する。フェデレーテッド推定手法を導入することで、局所的推定と比較して分散を低減し、フェデレーテッド最適化に公平性制約を統合することで、3つの実世界データセットにおいて最先端の公平性と精度のトレードオフを達成するとともに、クライアントの切断に対しても頑健性を維持する。

ABSTRACT

Training fair machine learning models becomes more and more important. As many powerful models are trained by collaboration among multiple parties, each holding some sensitive data, it is natural to explore the feasibility of training fair models in federated learning so that the fairness of trained models, the data privacy of clients, and the collaboration between clients can be fully respected simultaneously. However, the task of training fair models in federated learning is challenging, since it is far from trivial to estimate the fairness of a model without knowing the private data of the participating parties, which is often constrained by privacy requirements in federated learning. In this paper, we first propose a federated estimation method to accurately estimate the fairness of a model without infringing the data privacy of any party. Then, we use the fairness estimation to formulate a novel problem of training fair models in federated learning. We develop FedFair, a well-designed federated learning framework, which can successfully train a fair model with high performance without data privacy infringement. Our extensive experiments on three real-world data sets demonstrate the excellent fair model training performance of our method.

研究の動機と目的

• データの機微性を損なわず、クロスシロフェデレーテッドラーニングにおける公平な機械学習モデルの学習に取り組むこと。
• プライベートデータを露呈させずに、分散クライアント間でモデルの公平性を正確に推定する手法を開発すること。
• プライバシー制約の下で、モデルの精度と公平性を同時に最大化する新しいフェデレーテッド最適化問題を定式化すること。
• クライアントの切断に対しても性能を維持できる、頑健なフェデレーテッドラーニングフレームワークを設計すること。
• 提案手法の公平性と精度のトレードオフの優位性を、多様な実世界データセット上で実証的に検証すること。

提案手法

• 公平性指標（例：デモグラフィックパラティーション、等しい機会）を、局所クライアント推定の重み付き平均として計算するフェデレーテッド推定手法を提案し、推定分散を低減する。
• モデルの精度と公平性をバランスさせる制約付き最適化問題を、交互勾配射影法を用いてフェデレーテッドに解く。
• フェデレーテッド推定から導出される公平性制約を、標準的なフェデレーテッド損失関数に統合し、エンドツーエンドの学習を可能にする。
• 勾配ベースの最適化を可能にするために、トレーニング中に公平性指標を近似する微分可能公平性プロキシ（DGEO）を採用する。
• 残存クライアント推定の平均に依存することで、クライアントの切断に対しても公平性推定の安定性を保つようフレームワークを設計する。
• 3つの実世界データセット（DRUG、COMPASS、ADULT）において、ロジスティック回帰およびディープニューラルネットワークモデルに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 プライベートなクライントのデータを露呈させずに、フェデレーテッド環境で機械学習モデルの公平性を正確に推定できるか？
• RQ2 フェデレーテッド公平性推定は、局所的公平性推定と比較して、精度と分散の面で優れているか？
• RQ3 プライバシーを守りながら、モデルの精度と公平性を効果的にバランスさせるフェデレーテッド最適化フレームワークは実現可能か？
• RQ4 フェデレーテッド学習中にクライアントが切断されても、提案手法はどれほど頑健か？
• RQ5 提案フレームワークは、実世界のデータセットにおいて、既存のベースラインを上回る公平性と精度のトレードオフを達成できるか？

主な発見

• FedFairは、すべてのデータセットで公平性と精度の調和平均が最高となり、局所最適化（LCO）および他のベースラインを上回る。
• フェデレーテッド推定手法により、局所的推定と比較して公平性推定の分散が低減され、より安定的かつ正確な公平性のモニタリングが可能になった。
• ニューラルネットワークモデルでは、小さいε（きつい公平性制約）が正則化として機能し、モデルの複雑さが高くなってもテスト精度が向上する。
• FedFairはクライアントの切断に対して強い頑健性を示す：特にADULTのような大規模データセットでは、50％のクライアントドロップ率であっても、調和平均性能が安定またはわずかに低下するにとどまる。
• ADULTデータセットでは、50％のクライアントドロップ率であっても、FedFairは高い調和平均性能を維持しており、大規模フェデレーテッド環境における強い耐性を示している。
• 公平性推定が、非機微な統計の集約からのみ計算されるため、データ漏洩なしに優れた公平性性能を達成している。