[論文レビュー] Robin Hood and Matthew Effects: Differential Privacy Has Disparate Impact on Synthetic Data

Georgy Ganev, Bristena Oprisanu+1 more|arXiv (Cornell University)|Sep 23, 2021

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿は、合成表形式データの生成モデルにおける微分プライバシー（DP）が、代表されないサブグループにどのように不均等に影響を与えるかを調査している。DPは、プライバシー予算が高く、データの不均衡が強い状況下で、下流の分類器における精度の不均等な低下を引き起こす「ロビンフッド効果」（不均衡の低減）または「マタイ効果」（不均衡の増大）を誘発することが示された。特に少数派クラスにおいて顕著な精度低下が生じる。

ABSTRACT

Generative models trained with Differential Privacy (DP) can be used to generate synthetic data while minimizing privacy risks. We analyze the impact of DP on these models vis-a-vis underrepresented classes/subgroups of data, specifically, studying: 1) the size of classes/subgroups in the synthetic data, and 2) the accuracy of classification tasks run on them. We also evaluate the effect of various levels of imbalance and privacy budgets. Our analysis uses three state-of-the-art DP models (PrivBayes, DP-WGAN, and PATE-GAN) and shows that DP yields opposite size distributions in the generated synthetic data. It affects the gap between the majority and minority classes/subgroups; in some cases by reducing it (a "Robin Hood" effect) and, in others, by increasing it (a "Matthew" effect). Either way, this leads to (similar) disparate impacts on the accuracy of classification tasks on the synthetic data, affecting disproportionately more the underrepresented subparts of the data. Consequently, when training models on synthetic data, one might incur the risk of treating different subpopulations unevenly, leading to unreliable or unfair conclusions.

研究の動機と目的

• DP生成モデルが生成する合成表形式データにおけるクラスおよびサブグループの分布に及ぼす微分プライバシー（DP）の影響を分析すること。
• DP生成データ上で分類器を学習させた場合、DP判別モデルで観察されたのと同様の精度の不均等な影響が、代表されないサブグループに対して生じるかどうかを調査すること。
• 異なるDPメカニズム（ラプラス、DP-SGD、PATE）および変化するプライバシー予算とデータの不均衡度が、合成データの公平性と有用性にどのように影響するかを評価すること。
• DP生成モデルが偏ったサブグループ表現を生成し、少数派グループの下流性能が低下する条件を同定すること。

提案手法

• 最先端の3つのDP生成モデルを評価：PrivBayes（ラプラスメカニズム）、DP-WGAN（DP-SGD）、PATE-GAN（プライベートアグリゲーション・オブ・ティーチャー・エンsembles）。
• クラスおよびサブグループの不均衡度を制御した表形式データセット上で、複数の設定でプライバシー予算（epsilon）を変化させながら各モデルを学習した。
• 各モデルおよび設定ごとに複数の合成データセットを生成し、信頼区間を計算して統計的安定性を評価した。
• 合成データ上で下流の二値および多値分類器を学習させ、クラスおよびサブグループごとの精度を測定することで、有用性の不均等さを検出した。
• 実データと合成データにおけるサブグループサイズの分布を比較し、不均衡のシフト（例：ロビンフッド対マタイ効果）を定量化した。
• プライバシー予算、データの不均衡、モデルアーキテクチャの影響を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: DP生成モデルは、実データの分布を反映したクラスおよびサブグループの割合を持つ合成データを生成するか？
• RQ2 RQ2: 実データ上でDP分類器を学習させた場合と同様に、DP合成データ上で分類器を学習させると、精度に不均等な影響が生じるか？
• RQ3 RQ3: 異なるDPメカニズム（ラプラス、DP-SGD、PATE）および変化するプライバシー予算とデータの不均衡度は、合成データの公平性と有用性にどのように影響するか？

主な発見

• DP生成モデルはサブグループ分布に対して相反する効果を示す：PrivBayesは不均衡を低減する（ロビンフッド効果）、一方PATE-GANは不均衡を増大させる（マタイ効果）。
• すべてのDP生成モデルが、下流分類器における精度の不均等な低下を引き起こし、特に代表されないサブグループでは性能低下が顕著で、変動が大きい。
• サイズおよび精度の不均等さの大きさは、より強いプライバシー保証（低いepsilon値）で増大し、特に重度に不均衡なデータセットで顕著である。
• PATE-GANは、多クラスで重度に不均衡なデータにおいて、希少なサブグループの学習に著しい失敗を示し、低プライバシー予算下でサブグループと目的変数の間の人工的相関を生成する。
• PATE-GANから得られる合成データに対する分類器の有用性は、通常DP-WGANのそれと同等またはそれ以上であるが、これは偏ったサブグループ表現と信頼性の低いサブグループレベルの性能を伴う。
• 生成モデル、DPメカニズム、プライバシー予算の選択が公平性の結果に顕著に影響を与えることが示され、プライバシー保護型合成データ生成には「万能の解決策」は存在しない。