[論文レビュー] On the Privacy Properties of GAN-generated Samples

Zinan Lin, Vyas Sekar+1 more|arXiv (Cornell University)|Jun 3, 2022

Adversarial Robustness in Machine Learning参考文献 14被引用数 5

ひとこと要約

この論文は、一般化特性のおかげで、vanilla GAN が生成するサンプルが、弱い微分プライバシーとメンバーインファレンス攻撃に対する耐性を本質的に満たしていることを示している。弱い仮定のもとで、生成されたサンプルは $(\epsilon, \delta)$-微分プライバシーを達成し、$\delta = O(n/m)$ となる。また、メンバーインファレンス攻撃の成功度（AUC で測定）は $O(m^{-1/4})$ に低下し、訓練データが大きくなるほど改善する。

ABSTRACT

The privacy implications of generative adversarial networks (GANs) are a topic of great interest, leading to several recent algorithms for training GANs with privacy guarantees. By drawing connections to the generalization properties of GANs, we prove that under some assumptions, GAN-generated samples inherently satisfy some (weak) privacy guarantees. First, we show that if a GAN is trained on m samples and used to generate n samples, the generated samples are (epsilon, delta)-differentially-private for (epsilon, delta) pairs where delta scales as O(n/m). We show that under some special conditions, this upper bound is tight. Next, we study the robustness of GAN-generated samples to membership inference attacks. We model membership inference as a hypothesis test in which the adversary must determine whether a given sample was drawn from the training dataset or from the underlying data distribution. We show that this adversary can achieve an area under the ROC curve that scales no better than O(m^{-1/4}).

研究の動機と目的

• 標準的な訓練手法を用いずに、GAN が生成するサンプルが本質的にプライバシー保証を提供するかどうかを調査すること。
• $m$ 個のデータポイントで訓練され、$n$ 個のサンプルを生成する通常の GAN が生成するサンプルの微分プライバシー特性を分析すること。
• 最悪の攻撃者仮定のもとで、GAN が生成するサンプルのメンバーインファレンス攻撃に対する耐性を評価すること。
• 一般化理論に基づいて、微分プライバシーおよびメンバーインファレンスの両方のプライバシーリスクに対する理論的バウンディングを確立すること。
• GAN から合成データを公開することで、モデルパラメータの公開という代替手段として、プライバシー保護が可能かどうかを検討すること。

提案手法

• 理論的分析により、積分確率距離とKLダイバージェンスを用いて、GAN の一般化バウンズとプライバシー保証を結びつける。
• 生成器の一般化誤差と実分布と生成分布のTV距離を関連付けることで、微分プライバシーのバウンディングを導出する。
• ピンスカーの不等式を適用して、KLダイバージェンスを用いて全変動距離の上界を評価し、それをプライバシーパラメータと結びつける。
• メンバーインファレンスを仮説検定としてモデル化し、幾何学的および集中不等式の議論を用いて、受信器操作特性曲線（ROC）下の面積（AUC）の上界を導出する。
• 生成器および識別器の関数クラスに関する先行研究の仮定を用いて、理論的取り扱いやすさを確保する。
• 幾何的証明を用いて、任意の生成モデルに対してメンバーインファレンス攻撃のROC領域のタイトなバウンディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用しない標準的な GAN は、生成されたサンプルに対して、本質的に何らかの微分プライバシーを提供するのか？
• RQ2 生成サンプルのプライバシー保証は、訓練データサイズ $m$ と生成サンプル数 $n$ にどのように依存するか？
• RQ3 攻撃者が生成器に無制限にアクセスできる最悪の状況でも、GAN が生成するサンプルはメンバーインファレンス攻撃に対してどれほど耐性を示すのか？
• RQ4 攻撃戦略に依存せずに、メンバーインファレンス攻撃の成功確率をバウンディングできるか。もし可能であれば、$m$ が増加するにつれてその減少速度はどの程度か？
• RQ5 GAN が生成するサンプルのプライバシー保証は、実用的用途に十分な強さを持っているのか。それとも、DP-SGD などの追加技術が必要なのか？

主な発見

• GAN が生成するサンプルは、$\delta = O(n/m)$ を満たす $(\epsilon, \delta)$-微分プライバシーを満たしており、生成サンプルが増えるほどプライバシーが劣化することを示している。
• $n=1$ の場合に $O(n/m)$ の $\delta$ のレートがタイトであることが示され、標準的な仮定のもとでこのバウンディングは改善できない。
• メンバーインファレンス攻撃に関して、受信者操作特性曲線（ROC）下の面積（AUC）は $O(m^{-1/4})$ で上界が与えられ、訓練データが増えるほど攻撃成功度が低下することが示された。
• 攻撃者が生成器に無制限にアクセスできる最悪の状況でも、メンバーインファレンス攻撃に対する耐性は保たれる。
• 理論的バウンディングは、生成器および識別器の関数クラスに関する仮定に依存しており、すべての GAN アーキテクチャに成り立つとは限らない。
• 結果から、GAN は本質的なプライバシーを提供するが、追加のプライバシー保護訓練手法（例：DP-SGD）がなければ、実用的導入には不十分であると示唆される。