[論文レビュー] Synthetic Data -- A Privacy Mirage

Theresa Stadler, Bristena Oprisanu+1 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用数 22

ひとこと要約

本論文は、合成データからのプライバシーの向上を定量化するきめ細やかな評価フレームワークを導入し、ブラックボックス攻撃下でも、微分プライバシーを適用したGANのような高度な生成モデルですら、再識別や属性漏洩に対してほとんど保護を提供しないことを示している。研究では、合成データが実際のプライバシー的利益をほとんど提供しないことが明らかになった。特にモデルの複雑さが増すと、一部の記録は他の記録よりも著しく脆弱になる。

ABSTRACT

Synthetic datasets produced by generative models are advertised as a silver-bullet solution to privacy-preserving data sharing. Claims about the privacy benefits of synthetic data, however, have not been supported by a rigorous privacy analysis. In this paper, we introduce an evaluation framework that enables data holders to (I) quantify the privacy gain of publishing a synthetic dataset instead of the raw data, and (II) compare the privacy properties of generative model training algorithms. We illustrate the utility of the framework and quantify privacy gain with respect to two concerns, the risk of re-identification via linkage and the risk of attribute disclosure, on synthetic data produced by a range of generative models, from simple independent histograms to differentially private GANs. We find that, across the board, synthetic data provides little privacy gain even under a black-box adversary with access to a single synthetic dataset only. Moreover, we observe that some target records receive substantially less protection than others and that the more complex the generative model, the more difficult it is to predict which targets will remain vulnerable to privacy attacks. Our findings highlight the need to re-consider whether synthetic data is an appropriate strategy to privacy-preserving data publishing.

研究の動機と目的

• 合成データが広くプライバシー保護ソリューションとして推奨されているが、その背後にあるきめ細やかなプライバシー分析が不足している問題に対処すること。
• 生データの代わりに合成データセットを公開する際のプライバシー向上を定量化する体系的なフレームワークを開発すること。
• 単純なヒストограмから微分プライバシーを適用したGANに至るまで、さまざまな生成モデリングアルゴリズムのプライバシー特性を比較すること。
• 合成データが、実際に機微な記録を再識別や属性漏洩攻撃から保護しているかどうかを調査すること。
• 特に複雑な生成モデル下での個々の記録の脆弱性を評価し、露出リスクのパターンを同定すること。

提案手法

• 著者らは、ブラックボックス攻撃者（1つの合成データセットにのみアクセス可能）を想定し、プライバシーの向上を測定する評価フレームワークを設計した。
• フレームワークは、記録のリンクによる再識別と、推論攻撃による属性漏洩という2つの主要なプライバシー脅威を評価する。
• この手法は、独立したヒストограм、通常のGAN、微分プライバシーを適用したGANを含む、さまざまな生成モデルに適用可能である。
• 再識別確率や属性漏洩の可能性といった指標を用いて、複数のターゲット記録におけるプライバシーリスクを定量化する。
• フレームワークにより、さまざまなトレーニングアルゴリズムやモデルアーキテクチャ間でのプライバシー特性の比較分析が可能になる。
• 実世界のデータセットを用いた実証的評価により、制御された攻撃シナリオ下での実際のプライバシー成果を測定した。

実験結果

リサーチクエスチョン

• RQ1 生データの代わりに合成データを公開することで、リンク攻撃による再識別リスクはどの程度低減されるか？
• RQ2 さまざまな生成モデリング技術において、属性漏洩リスクはどのように変化するか？
• RQ3 合成データセット内の個々の記録に、体系的なプライバシー保護の違いがあるか？
• RQ4 モデルの複雑さが、プライバシー脆弱性の予測可能性と深刻度にどのように影響するか？
• RQ5 GANのトレーニングに微分プライバシーを適用することで、非プライベートベースラインに比べて、顕著にプライバシー保証が向上するか？

主な発見

• ブラックボックス攻撃者であっても、1つの合成データセットにアクセス可能な状況下でも、合成データは最小限のプライバシー向上をもたらす。
• 再識別および属性漏洩リスクは、微分プライバシーを適用したGANを含む、すべての評価対象の生成モデルで依然として高い水準に保たれている。
• 一部のターゲット記録は、他の記録よりも著しく脆弱であることが判明し、保護の不均一性が示された。
• 生成モデルの複雑さが増すと、どの記録が脆弱になるかを予測することが著しく困難になる。
• 本研究では、モデルタイプにかかわらず、合成データが機微な情報を信頼性高く保護しているという明確な証拠は得られなかった。
• 結果として、生データ共有の代替手段として合成データが有効であるという一般的な仮定が、疑問視されるようになった。