[論文レビュー] Enforcing fairness in private federated learning via the modified method of differential multipliers.

Borja Rodríguez-Gálvez, Filip Granqvist+2 more|arXiv (Cornell University)|Sep 17, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用数 22

ひとこと要約

本稿では、中央集権的およびフェデレーテッド設定の両方で公平性制約を処理するために、修正されたラグランジュ乗数法を拡張することで、グループの公平性を保証する新しいアルゴリズムFPFLを提案する。実験では、フェデレーテッドAdultおよび不平等なFEMNISTデータセット上で、微分プライバシーを適用したフェデレーテッドラーニングにおける少数派グループの性能劣化の顕著な緩和が示された。

ABSTRACT

Federated learning with differential privacy, or private federated learning, provides a strategy to train machine learning models while respecting users' privacy. However, differential privacy can disproportionately degrade the performance of the models on under-represented groups, as these parts of the distribution are difficult to learn in the presence of noise. Existing approaches for enforcing fairness in machine learning models have considered the centralized setting, in which the algorithm has access to the users' data. This paper introduces an algorithm to enforce group fairness in private federated learning, where users' data does not leave their devices. First, the paper extends the modified method of differential multipliers to empirical risk minimization with fairness constraints, thus providing an algorithm to enforce fairness in the central setting. Then, this algorithm is extended to the private federated learning setting. The proposed algorithm, FPFL, is tested on a federated version of the Adult dataset and an unfair version of the FEMNIST dataset. The experiments on these datasets show how private federated learning accentuates unfairness in the trained models, and how FPFL is able to mitigate such unfairness.

研究の動機と目的

• 微分プライバシーが少数派グループに顕著に悪影響を及げる、プライバシー保護型フェデレーテッドラーニングにおける不公平なモデル性能の問題に対処すること。
• 中央集権的設定における公平性認識最適化を、データがローカルデバイス上に留まるフェデレーテッドラーニング設定に拡張すること。
• フェデレーテッドトレーニング中に微分プライバシーを維持しつつ、グループの公平性を強制する手法を開発すること。
• 微分プライバシーが公平性に与える影響と、提案手法の有効性を、実世界のフェデレーテッドデータセットを用いて経験的に評価すること。

提案手法

• 中央集権的設定において、公平性制約を伴う経験的リスク最小化を解くために、修正されたラグランジュ乗数法を拡張する。
• 分散最適化フレームワークを用いて、中央集権的公平性制約付き最適化をフェデレーテッド設定に適応する。
• ユーザーのデータプライバシーを保証するために、フェデレーテッド最適化プロセスに微分プライバシーを統合する。
• ラグランジュ乗数を用いて、分散的に公平性制約を強制するための双対上昇法を用いる。
• 微分プライバシーの保証を満たすために、モデル更新時に勾配にノイズを注入する。
• クライアントがローカルで学習し、サーバーに更新済みモデルパラメータのみを送信する、ローカル更新と集約メカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける微分プライバシーは、少数派グループのモデル性能にどのように影響を与えるか？
• RQ2 データが集中化されていないフェデレーテッドラーニング設定でも、公平性制約を効果的に強制できるか？
• RQ3 修正されたラグランジュ乗数法は、分散的かつプライバシー保護型の設定に公平性制約を統合するためにどのように適応できるか？
• RQ4 提案されたFPFLアルゴリズムは、標準的なプライバシー保護型フェデレーテッドラーニングと比較して、どれほど不公平を緩和できるか？

主な発見

• 微分プライバシーが追加されることで、プライバシー保護型フェデレーテッドラーニングにおいて少数派グループのモデル性能の不公平が悪化する。
• 提案されたFPFLアルゴリズムは、フェデレーテッドAdultおよび不平等なFEMNISTデータセットの両方で、グループ間の性能格差を著しく低減した。
• FPFLは、標準的なプライバシー保護型フェデレーテッドラーニングと比較して、顕著に改善された公平性指標を維持しながら、強固なプライバシー保証を達成した。
• アルゴリズムは、特に少数派サブグループに利益をもたらすように、デモグラフィックグループ間でよりバランスの取れた正答率分布を達成した。
• 経験的結果から、FPFLは等しい機会や平均オッズ差といった公平性指標において、非公平ベースラインを上回ることを示した。