[論文レビュー] Privacy for All: Demystify Vulnerability Disparity of Differential Privacy against Membership Inference Attack

Bo Zhang, Ruotong Yu+4 more|arXiv (Cornell University)|Jan 24, 2020

Privacy-Preserving Technologies in Data参考文献 59被引用数 12

ひとこと要約

本稿では、データの不均衡に起因する特定のグループが特に標的とされやすいことから、メンバーシップ推定攻撃（MIA）における差別の的不公平さを定量化するためのボラティリティ差異（VD）を導入し、MIAが特定のデモグラフィックグループに対して不均等に影響を及ぼすことを示している。また、微分プライバシー（DP）はVDを軽減するが完全に解消しないことを示し、VDを効果的に緩和するデータ再重み付け手法FairPickを提案する。この手法はDPを適用する前後においてもVDを低減でき、プライバシー保護型機械学習における公平性を向上させる。

ABSTRACT

Machine learning algorithms, when applied to sensitive data, pose a potential threat to privacy. A growing body of prior work has demonstrated that membership inference attack (MIA) can disclose specific private information in the training data to an attacker. Meanwhile, the algorithmic fairness of machine learning has increasingly caught attention from both academia and industry. Algorithmic fairness ensures that the machine learning models do not discriminate a particular demographic group of individuals (e.g., black and female people). Given that MIA is indeed a learning model, it raises a serious concern if MIA ``fairly'' treats all groups of individuals equally. In other words, whether a particular group is more vulnerable against MIA than the other groups. This paper examines the algorithmic fairness issue in the context of MIA and its defenses. First, for fairness evaluation, it formalizes the notation of vulnerability disparity (VD) to quantify the difference of MIA treatment on different demographic groups. Second, it evaluates VD on four real-world datasets, and shows that VD indeed exists in these datasets. Third, it examines the impacts of differential privacy, as a defense mechanism of MIA, on VD. The results show that although DP brings significant change on VD, it cannot eliminate VD completely. Therefore, fourth, it designs a new mitigation algorithm named FAIRPICK to reduce VD. An extensive set of experimental results demonstrate that FAIRPICK can effectively reduce VD for both with and without the DP deployment.

研究の動機と目的

• メンバーシップ推定攻撃（MIA）が異なるデモグラフィックグループに対して不公平に扱われ、特定のグループがより高い脆弱性を示すかどうかを調査すること。
• 微分プライバシー（DP）を防御手法として用いることで、MIAのデモグラフィックグループごとの公平性に与える影響を分析すること。
• MIAにおけるボラティリティ差異（VD）を低減する新しい緩和手法を設計し、DPの適用前後においても有効であることを示すこと。
• データの不均衡なデモグラフィック分布を有する実世界のデータセットを用いて、VDを実証的に評価すること。

提案手法

• 等しい機会の公平性フレームワークを用いてボラティリティ差異（VD）を形式化し、デモグラフィックグループ間でのMIA成功確率の差を測定する。
• 4つの実世界のデータセット（例：COMPAS、ランダムフォレストなど）を用いてVDを実証的に評価し、人種および性別グループにおけるMIA成功確率の差を定量化する。
• 微分プライバシー（DP）がVDに与える影響を分析し、非一様なデータ分布の影響により、DPはVDを軽減するが完全に解消しないことを示す。
• トレーニングデータの分布を調整することでVDを最小化する、後処理型のデータ再重み付け手法FairPickを提案し、MIAの結果における公平性を向上させる。
• FairPickをDP適用前後の両方の状況に適用し、多様な設定においてVDの低減効果を示す。
• 複数の指標を用いた実証的評価により、FairPickがVDを低減しつつモデルの有用性を維持できる能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 MIAは、特定のデモグラフィックグループに対して不公平に扱われ、他のグループと比較してより高い脆弱性を示すのか？
• RQ2 特にデータの不均衡に起因するボラティリティ差異の背後にある要因は何か？
• RQ3 微分プライバシーを防御手法として用いる場合、MIAのデモグラフィックグループごとの公平性にどのような影響を与えるか？
• RQ4 新しい緩和手法は、微分プライバシーを適用する前後において、ボラティリティ差異を低減できるか？

主な発見

• 実世界のデータセットにおいてMIAにボラティリティ差異（VD）が存在し、特定のデモグラフィックグループ（例：ブラックおよび女性の個人）がデータの不均衡に起因して顕著に高いMIA成功確率を示している。
• 微分プライバシー（DP）はVDを軽減するが、DPのプライバシー保証がデモグラフィック分布の不均衡を考慮していないため、完全に解消しない。
• FairPickはトレーニングデータの再重み付けによりデモグラフィック表現のバランスを取ることで、VDを効果的に低減し、MIA成功確率の差を小さくする。
• FairPickによるVD低減効果は、DP有効・無効の両方の設定で一貫しており、その強靭性が示された。
• 実証的結果から、FairPickはモデルの有用性を維持しながら、人種および性別グループにおけるMIA結果の公平性を顕著に向上させている。
• 本研究では、個々の個人の公平性（同様の個人は同様に扱われるべき）が、DP下でも依然として侵害されている可能性があることが明らかになった。これは、さらなる個別公平性分析の必要性を示唆している。