[論文レビュー] Differentially Private Learning Does Not Bound Membership Inference.

Thomas Humphries, Matthew Rafuse+4 more|arXiv (Cornell University)|Oct 23, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 14

ひとこと要約

この論文は、微分プライバシー（DP）機械学習モデルがメンバー推定攻撃（MIAs）に対して頑健であるという仮定に挑戦する。実世界のデータセットを用いた理論的分析と実験を通じて、訓練サンプル間のデータバイアスや相関が、DPの理論的プライバシー境界を破る要因となり、DPが適用されていてもMIAsが成功することを示している。

ABSTRACT

Training machine learning models on privacy-sensitive data has become a popular practice, driving innovation in ever-expanding fields. This has opened the door to a series of new attacks, such as Membership Inference Attacks (MIAs), that exploit vulnerabilities in ML models in order to expose the privacy of individual training samples. A growing body of literature holds up Differential Privacy (DP) as an effective defense against such attacks, and companies like Google and Amazon include this privacy notion in their machine-learning-as-a-service products. However, little scrutiny has been given to how underlying correlations or bias within the datasets used for training these models can impact the privacy guarantees provided by DP. In this work, we challenge prior findings that suggest DP provides a strong defense against MIAs. We provide theoretical and experimental evidence for cases where the theoretical bounds of DP are violated by MIAs using the same attacks described in prior work. We first show this empirically, with real-world datasets carefully split to create a distinction between member and non-member samples, and then we study the reason why the theoretical DP bounds break when members and non-members are not independent and identically distributed. Our findings suggest that certain properties of datasets, such as bias or data correlation, play a critical role in determining the effectiveness of DP as a privacy preserving mechanism against MIAs.

研究の動機と目的

• 微分プライバシー（DP）が実世界の機械学習応用において、本当にメンバー推定攻撃（MIAs）から保護しているかどうかを調査すること。
• 訓練データセットにおけるデータバイアスや相関が、DPをプライバシー保護メカニズムとしての有効性に与える影響を検討すること。
• DPがMIAsに対して強力な理論的・実践的保護を提供するという広く共有された信念に挑戦すること。
• 非i.i.d.なメンバーおよび非メンバーのデータ分布下で、DPの理論的プライバシー境界がどのように破綻するかを理論的・実証的に示すこと。

提案手法

• 著者らは、メンバーと非メンバーのサンプルを慎重に分離した実世界のデータセットを用いて訓練された微分プライバシーモデルに対して、メンバー推定攻撃（MIAs）を設計および実行する。
• 微分プライバシーの理論的境界を分析し、訓練データに相関やバイアスが存在する場合にこれらの境界がどのように破綻するかを同定する。
• メンバーと非メンバーのサンプルが独立同分布（i.i.d.）でないデータセットを用いた実証的評価を実施し、現実的なデータ分布をシミュレートする。
• 理論的分析を通じて、メンバーと非メンバーの分布がi.i.d.でない場合、DPのプライバシー保証が崩壊することを示す。
• さまざまなレベルのデータ相関やバイアス下での攻撃成功確率を比較し、DPの有効性への影響を定量化する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーがメンバー推定攻撃を防げない条件は何か？
• RQ2 訓練データにおけるデータ相関やバイアスが、微分プライバシーのモデルの理論的プライバシー境界にどのように影響を与えるか？
• RQ3 非i.i.d.なメンバーおよび非メンバーのデータ分布が、DPのプライバシー保証をどの程度損なうか？
• RQ4 理論的DP境界が満たされている状況でも、メンバー推定攻撃が微分プライバシーのモデルに対して成功する可能性はあるか？

主な発見

• 訓練データにメンバーと非メンバーのサンプル間の相関やバイアスが存在する場合、微分プライバシーはメンバー推定攻撃からの保護を保証しない。
• 実証的結果から、非i.i.d.なメンバーおよび非メンバーの分布を持つ実世界のデータセットを用いて訓練された微分プライバシーモデルに対しても、MIAsが高成功率を達成することが示された。
• i.i.d.データの仮定が破られる場合、特にデータの相関やバイアスによって、微分プライバシーの理論的境界が実際の状況で破綻することが判明した。
• 本研究は、データ分布の特性——特にバイアスや相関——が、DPのMIAsに対するプライバシー保証を損なう重要な要因であると特定した。