[論文レビュー] "You Can't Fix What You Can't Measure": Privately Measuring Demographic Performance Disparities in Federated Learning

Marc Juárez, Aleksandra Korolova|arXiv (Cornell University)|Jun 24, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、ユーザーのプライバシーを損なわず、フェデレーテッドラーニングにおけるデモグラフィック要因によるパフォーマンス格差を測定するためのローカル微分プライバシー（LDP）メカニズムを提案する。実用的なクライアント数を想定した場合、強いプライバシー保証のもとで測定誤差が低く抑えられ、限られた機微なデモグラフィックデータへのアクセスにもかかわらず、グループ間での不平等なモデルパフォーマンスの検出が可能であることを示している。

ABSTRACT

As in traditional machine learning models, models trained with federated learning may exhibit disparate performance across demographic groups. Model holders must identify these disparities to mitigate undue harm to the groups. However, measuring a model's performance in a group requires access to information about group membership which, for privacy reasons, often has limited availability. We propose novel locally differentially private mechanisms to measure differences in performance across groups while protecting the privacy of group membership. To analyze the effectiveness of the mechanisms, we bound their error in estimating a disparity when optimized for a given privacy budget. Our results show that the error rapidly decreases for realistic numbers of participating clients, demonstrating that, contrary to what prior work suggested, protecting privacy is not necessarily in conflict with identifying performance disparities of federated models.

研究の動機と目的

• グループメンバーシップデータがプライバシーに敏感な状況において、フェデレーテッドラーニングモデルのパフォーマンス格差を検出する課題に対処すること。
• クロスデバイスフェデレーテッドラーニングにおける、不平等なモデルパフォーマンスの特定と、デモグラフィック属性のプライバシー保護という、対立する二つの目標を調和させること。
• プライバシーバジェットの使用を最小限に抑えるとともに、パフォーマンスギャップを推定できる効率的なローカル微分プライバシー（LDP）メカニズムを設計すること。
• さまざまなプライバシーバジェット、クライアント数、グループサイズの下で、これらのメカニズムの理論的および実験的誤差境界を評価すること。
• 中央集約者との協力や生のデモグラフィックデータへのアクセスなしに、モデル保有者や規制当局が格差を検出できるようにすること。

提案手法

• フェデレーテッドラーニングにおけるパフォーマンス格差を測定することを目的とした、新たなローカル微分プライバシー（LDP）メカニズムを提案し、特にグループメンバーシップ情報を保護することを目的として設計されている。
• 一般化ランダム化応答（GRR）メカニズムを適応し、デモグラフィック属性とパフォーマンス指標を、ε-微分プライバシー（ε-LDP）を満たすように摂動処理する。
• クライアントから得た摂動済みデータを用いて、異なるデモグラフィックグループ間のモデル正答率の差を計算するパフォーマンスギャップ推定フレームワークを導入する。
• チェビシェフの不等式を用いて理論的誤差境界を導出し、プライバシー（ε）と推定精度のトレードオフを分析する。
• グローバルプライバシ制約の下で推定誤差を最小化するように、グループ間のプライバシーバジェットを最適化し、不均衡なグループサイズにおいても性能を向上させる。
• 実世界のシミュレーテッドFL展開を用いた実験的検証により、理論的な上界よりも実際の誤差が顕著に低いことが示され、誤差境界が保守的であることが示唆された。

実験結果

リサーチクエスチョン

• RQ1 グループメンバーシップデータが機微で保護が求められる状況において、フェデレーテッドラーニングモデルのパフォーマンス格差をプライバシー保護的に測定できるか？
• RQ2 LDPメカニズムにおいて、参加クライアント数と選択されたプライバシーバジェット（ε）の変化に伴い、パフォーマンスギャップ推定誤差はどのように変化するか？
• RQ3 LDPメカニズムは、実世界のフェデレーテッドラーニング展開において、意味のある格差を検出可能なほど十分に低い推定誤差を達成できるか？
• RQ4 特にSMPCや非プライベート手法と比較して、本手法はプライバシーとユーティリティのトレードオフにおいて優れているか？
• RQ5 集約者との協力なしに、分散型の公平性監視を可能にするために、これらのメカニズムを展開できるか？

主な発見

• 提案されたLDPメカニズムは、中程度のプライバシーバジェットでも、特に参加クライアント数が多い場合には、パフォーマンス格差の測定誤差が顕著に低いことを示している。
• チェビシェフの不等式を用いて導出した理論的誤差境界は、クライアント数の増加に伴い誤差が急速に減少することが示され、強力なスケーラビリティを示している。
• 実世界のシミュレーテッドFL展開を用いた実験的評価により、実際の測定誤差は理論的上界よりも顕著に低く抑えられており、誤差境界が保守的であることが示された。
• これらのメカニズムは強いε-LDP保証を確保しながら、パフォーマンス格差の正確な検出を可能としており、プライバシーと公平性測定が本質的に対立するものではないことを示している。
• グループ間でのプライバシーバジェットの最適化により、推定誤差が低減され、特にグループサイズが不均衡な状況においても公平性監視の精度が向上した。
• 本アプローチにより、モデル保有者や規制当局が生のデモグラフィックデータにアクセスせずとも、格差を検出できるようになり、生産環境におけるプライバシー保護型公平性監査を可能にした。