[論文レビュー] LOGAN: Evaluating Privacy Leakage of Generative Models Using Generative Adversarial Networks.

Jamie Hayes, Luca Melis+2 more|arXiv (Cornell University)|May 22, 2017

Generative Adversarial Networks and Image Synthesis被引用数 64

ひとこと要約

この論文では、生成モデルの訓練データに含まれていたかを検出するために生成対抗ネットワーク（GANs）を用いるメンバーシップ推定攻撃であるLOGANを紹介する。識別器が統計的差異を検出できる能力を活用することで、顔、物体、医療画像など多様なデータセットにおいて効果的なメンバーシップ推定が達成され、最先端の生成モデルにおける顕著なプライバシー漏洩が明らかになった。

ABSTRACT

Generative models estimate the underlying distribution of a dataset to generate realistic samples according to that distribution. In this paper, we present the first membership inference attacks against generative models: given a data point, the adversary determines whether or not it was used to train the model. Our attacks leverage Generative Adversarial Networks (GANs), which combine a discriminative and a generative model, to detect overfitting and recognize inputs that were part of training datasets, using the discriminator's capacity to learn statistical differences in distributions. We present attacks based on both white-box and black-box access to the target model, against several state-of-the-art generative models, over datasets of complex representations of faces (LFW), objects (CIFAR-10), and medical images (Diabetic Retinopathy). We also discuss the sensitivity of the attacks to different training parameters, and their robustness against mitigation strategies, finding that defenses are either ineffective or lead to significantly worse performances of the generative models in terms of training stability and/or sample quality.

研究の動機と目的

• 生成モデルは訓練データを記憶する傾向があるとされているが、メンバーシップ推定攻撃がそれらに適用可能かどうかを調査すること。
• 分布上の差異に基づいて過学習を検出し、訓練データポイントを特定するため、GANを用いた新たな攻撃フレームワークを開発すること。
• 多様なデータモダリティにおいて、ホワイトボックスおよびブラックボックスアクセスの両状況下での攻撃の有効性を評価すること。
• 訓練ハイパーパrameterの変動に対する攻撃の感受性を分析し、既存の防御策の有効性を評価すること。
• 防御策を適用した際のプライバシー保護とモデル性能のトレードオフを評価すること。

提案手法

• 攻撃フレームワークは、識別器を訓練して、ターゲット生成モデルの実際の訓練データと生成されたサンプルを区別するGANの構成を採用する。
• 識別器は、訓練データと生成されたサンプルとの間の微細な統計的差異を学習し、訓練点への過学習の兆候を検出する。
• ホワイトボックスアクセスの場合、ターゲットモデルの内部表現を用いて、実データと生成データの区別を識別器に学習させる。
• ブラックボックスアクセスの場合、ターゲットモデルにクエリを送信してサンプルを生成し、それらをゼロショットの方法で識別器を訓練する。
• LFW、CIFAR-10、および糖尿病網膜症データセットを対象に、GANやVAEを含む複数の生成モデルで攻撃を評価する。
• 攻撃の成功度は、識別器が与えられた入力を「実際の（訓練用の）もの」か「生成されたもの」かを分類する際の信頼度を分析することで測定する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの検出メカニズムを用いることで、生成モデルに対してメンバーシップ推定攻撃を効果的に適用できるか？
• RQ2 異なるデータタイプおよびモデルアーキテクチャにおいて、ホワイトボックスおよびブラックボックスアクセス設定下での攻撃の性能はいかがなものか？
• RQ3 学習率やバッチサイズなどの訓練ハイパーパrameterの変化に対して、攻撃はどの程度感受性を示すか？
• RQ4 既存のメンバーシップ推定に対する防御策は、生成モデルに適用された場合に有効であるか？
• RQ5 防御策を導入した際のプライバシー保護とモデル性能のトレードオフはどのようなものか？

主な発見

• 提案されたLOGAN攻撃は、いくつかのデータセットで90％を超える高いメンバーシップ推定精度を達成しており、最先端の生成モデルにおける顕著なプライバシー漏洩を示している。
• ブラックボックスアクセス下でも攻撃は有効であるため、モデルへのクエリ制限がある状況でも訓練データへのメンバーシップを特定できることが示された。
• 敵対的訓練や勾配正則化などの防御策は、メンバーシップ推定を防ぐのには失敗するか、サンプル品質や訓練安定性の観点から著しくモデル性能を低下させる。
• 攻撃はモデルアーキテクチャおよび訓練ハイパーパrameterに感受性を示し、過学習度が高いほど攻撃成功確率も高くなる。
• 結果から、生成モデルにおける記憶現象は単純なデータに限らず、医療画像や顔画像などの複雑な表現に対しても拡大していることが明らかになった。
• 本研究は、高精細な生成を目的として設計された現在の生成モデルでさえ、メンバーシップ推定に対して脆弱であることを明らかにした。