[論文レビュー] privGAN: Protecting GANs from membership inference attacks at low cost

Sumit Mukherjee, Yixi Xu+2 more|arXiv (Cornell University)|Dec 31, 2019

Privacy-Preserving Technologies in Data参考文献 34被引用数 11

ひとこと要約

privGAN は、生成器を同時にディスクリミネータと専用の敵対者をだますように訓練することにより、トレーニングデータの記憶を低減することで、メンバーシッププライバシーを強化する新しい GAN アーキテクチャである。非プライベート GAN と比較して、サンプル品質や下流タスクのパフォーマンスの劣化が最小限に抑えられる一方で、ホワイトボックスおよびブラックボックスのメンバーシップインファレンス攻撃に対して強力な保護を実現する。

ABSTRACT

Generative Adversarial Networks (GANs) have made releasing of synthetic images a viable approach to share data without releasing the original dataset. It has been shown that such synthetic data can be used for a variety of downstream tasks such as training classifiers that would otherwise require the original dataset to be shared. However, recent work has shown that the GAN models and their synthetically generated data can be used to infer the training set membership by an adversary who has access to the entire dataset and some auxiliary information. Current approaches to mitigate this problem (such as DPGAN) lead to dramatically poorer generated sample quality than the original non--private GANs. Here we develop a new GAN architecture (privGAN), where the generator is trained not only to cheat the discriminator but also to defend membership inference attacks. The new mechanism provides protection against this mode of attack while leading to negligible loss in downstream performances. In addition, our algorithm has been shown to explicitly prevent overfitting to the training set, which explains why our protection is so effective. The main contributions of this paper are: i) we propose a novel GAN architecture that can generate synthetic data in a privacy preserving manner without additional hyperparameter tuning and architecture selection, ii) we provide a theoretical understanding of the optimal solution of the privGAN loss function, iii) we demonstrate the effectiveness of our model against several white and black--box attacks on several benchmark datasets, iv) we demonstrate on three common benchmark datasets that synthetic images generated by privGAN lead to negligible loss in downstream performance when compared against non--private GANs.

研究の動機と目的

• トレーニングデータの記憶に起因する脆弱性に起因する GAN のメンバーシップインファレンス攻撃に対する課題に取り組むこと。
• 非公開の GAN アーキテクチャを設計し、下流のユーティリティを犠牲にすることなく、高品質な合成データ生成を維持すること。
• 最小限のハイパーパラメータチューニングとアーキテクチャの変更なしに実用的な防御メカニズムを提供すること。
• 理論的および実験的に、privGAN が記憶を低減し、メンバーシッププライバシーを向上させることを検証すること。
• 最新の攻撃に対して、DPGAN や PATE-GAN と比較して、privGAN がサンプル品質を保持しながらも優れた防御性能を示すことを実証すること。

提案手法

• 生成器がディスクリミネータと別個のメンバーシップインファレンス敵対者の両方をだますように訓練される二重敵対的トレーニング設定を導入する。
• トレーニングサンプルの記憶をペナルティとする正則化項を含む、プライバシー化された GAN 損失関数を定式化し、ハイパーパラメータ λ と N で制御する。
• 複数の生成器-ディスクリミネータペアを並列に訓練し、敵対者が実データと合成データをメンバーシップ状態に基づいて区別できるように学習させる。
• 耐性を評価するための最も強力な敵対者を模倣するオラクル型メンバーシップインファレンス攻撃をプロキシとして用いる。
• 画像データセットにフレームワークを適用し、FID や下流分類精度といった標準指標を用いてプライバシーとユーティリティのトレードオフを評価する。
• 特定の用途に適したバランスを実現するため、λ と N のグリッドサーチを実施する。

実験結果

リサーチクエスチョン

• RQ1 高品質な合成データを生成すると同時に、メンバーシップインファレンス攻撃に耐性を持つ GAN アーキテクチャを設計できるか？
• RQ2 privGAN のプライバシー化された損失関数は、標準 GAN と比較して、トレーニングデータの記憶にどのように影響を与えるか？
• RQ3 非プライベート GAN と比較して、privGAN は下流モデルのパフォーマンス（例：分類精度）をどの程度維持できるか？
• RQ4 DPGAN や PATE-GAN と比較して、privGAN はプライバシー-ユーティリティトレードオフにおいてどのように異なるか？
• RQ5 privGAN のハイパーパラメータ λ と N と、モデルのメンバーシップインファレンス攻撃に対する耐性との理論的関係は何か？

主な発見

• privGAN はディスクリミネータに対するホワイトボックスのメンバーシップインファレンス攻撃に対してほぼ完全な保護を達成し、非プライベート GAN と比較して攻撃精度が顕著に低下している。
• 下流のパフォーマンスにほとんど損失が生じない：privGAN が生成する合成データに対する分類精度は、ベンチマークデータセットにおいて非プライベート GAN と同等である。
• プライバシー化された損失関数が生成器の記憶を効果的に正則化し、これがプライバシー特性の向上を説明している。
• 理論的分析により、十分に大きなデータ量がある場合、privGAN は非プライベート GAN と同じ最適解に収束することが示された。これは、データ分布学習の根本的劣化がないことを保証する。
• 実験的結果により、privGAN は DPGAN や PATE-GAN よりもサンプル品質を保持しながら、より強いプライバシー保証を提供することが示された。
• λ と N のハイパーパラメータチューニングにより、プライバシーとユーティリティのバランスを調整可能であり、グリッドサーチにより用途に応じた最適化が可能である。