[論文レビュー] PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning

Sikha Pentyala, Nicola Neophytou+3 more|arXiv (Cornell University)|May 23, 2022

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

PrivFairFLは、安全な多人数計算（MPC）と微分プライバシー（DP）を組み合わせることで、クロスデバイス分散学習におけるグループ公平性を実現する新規フレームワークを提案する。これにより、生のクライアントデータを露呈せずに、機微な属性統計のプライバシー保護された集約が可能になる。本手法は、最小限の性能損失で最先端の公平性を達成し、ローカルDPベースラインを上回る性能を示す。

ABSTRACT

Group fairness ensures that the outcome of machine learning (ML) based decision making systems are not biased towards a certain group of people defined by a sensitive attribute such as gender or ethnicity. Achieving group fairness in Federated Learning (FL) is challenging because mitigating bias inherently requires using the sensitive attribute values of all clients, while FL is aimed precisely at protecting privacy by not giving access to the clients' data. As we show in this paper, this conflict between fairness and privacy in FL can be resolved by combining FL with Secure Multiparty Computation (MPC) and Differential Privacy (DP). In doing so, we propose a method for training group-fair ML models in cross-device FL under complete and formal privacy guarantees, without requiring the clients to disclose their sensitive attribute values.

研究の動機と目的

• フェデレーテッドラーニングにおけるグループ公平性とデータプライバシーの根本的対立に取り組むこと。公平性の実現には機微な属性へのアクセスを要するが、プライバシーの観点からデータ共有は禁止される。
• クライアントの機微な属性値を露呈せずに、クロスデバイスFLにおいて公平なモデルの学習を可能にするソリューションを設計すること。
• MPCとDPを組み合わせることで、正式なプライバシー保証を提供すること。これにより、生データや集計統計が漏洩する可能性がなくなる。
• 既存のローカルDPベースの公平性アプローチに比べ、モデルの有用性を向上させること。これらの手法はしばしば顕著な精度低下を伴う。
• 実際のFL設定下で、実世界のデータセットを用いて本アプローチの実現可能性とスケーラビリティを示すこと。

提案手法

• フレームワークはMPCプロトコルを用いて、個々のデータを露呈せずに、クライアント間でラベルおよび機微な属性分布統計を安全に計算・集約する。
• MPCに基づく安全な計算を用いて、微分プライバシーのためのラプラスノイズを生成し、生データを露呈せずに信頼できるキュレーターの役割を果たす。
• 2つのコンponentを導入する：PrivFairFL-PreはMPCを用いたプライバシー保護型データ再重み付けを実現し、PrivFairFL-PostはMPC保護された公平性指標を用いた公平なしきい値補正を実現する。
• クライアントの更新と集計統計の両方をMPCとDPで保護することで、エンド・ツー・エンドのプライバシーを確保し、信頼できない中央集約者を排除する。
• MPCプロトコルは、SPDZやReplicated2kなどの安全な多人数計算フレームワークを用いて実装されており、誠実な多数と不誠実な多数の両方の設定をサポートする。
• 本アプローチは標準的なFLトレーニングパイプラインと統合可能であり、安全な集約後に公平性に配慮した再重み付けまたはしきい値調整を適用する。

実験結果

リサーチクエスチョン

• RQ1 クロスデバイス分散学習において、クライアントデータのプライバシーを損なわず、グループ公平性を達成する方法は何か？
• RQ2 MPCとDPを効果的に組み合わせることで、正式なプライバシー保証を提供しながら、フェデレーテッドラーニングにおける公平なモデル学習を可能にすることができるか？
• RQ3 PrivFairFLの有用性は、精度および公平性指標の観点で、既存のローカルDPベースの公平性手法と比較してどのように異なるか？
• RQ4 MPCベースの公平性フレームワークは、クライアント数や計算参加者の数の変動に対して、計算上のスケーラビリティをどのように示すか？
• RQ5 提案されたMPC+DPアプローチは、フェデレーテッドラーニングにおけるベースライン手法と比較して、公平性と有用性のトレードオフを軽減するか？

主な発見

• ADSデータセットにおいて、PrivFairFL-Postはデモグラフィックパリティ差（ΔSP）が0.001、等しい機会差（ΔEODD）が0.005を達成し、他の手法を著しく上回る公平性を実現した。
• ML-1Mデータセットでは、PrivFairFL-Postが公平性ギャップ（|1 - DI|）を0.006にまで低く抑え、すべての手法の中で最小であった。これは、最小限の差異を伴う強い公平性を示している。
• ADSデータセットにおけるPrivFairFL-Postのモデル精度は85.17%に達し、FL-DP-SGDベースライン（83.52%）を上回り、非プライベートな集中学習（85.81%）と同等の性能を示した。
• PrivFairFL-PreはADSで公平性ギャップ（|1 - DI|）を0.122、ML-1Mで0.045に抑え、最小限の精度損失で顕著なバイアス低減を実現した。
• 75〜109人のクライアントにわたるスケーリングにおいても効果的に動作し、3PCの誠実な多数設定下でPrivFairFL-Postの実行時間は10分未満に収まり、実用的実現可能性を示した。
• PrivFairFLはローカルDPベースライン（Abay et al., 2020）を公平性と有用性の両面で上回り、公平性ギャップを低減しながらも、高いモデル精度を維持した。