[論文レビュー] Differentially Private Generative Adversarial Network

Liyang Xie, Kaixiang Lin+3 more|arXiv (Cornell University)|Feb 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 313

ひとこと要約

DPGAN は GAN の訓練過程に勾配レベルのノイズを追加して差分プライバシーを提供し、トレーニングデータを保護しつつ高品質なサンプルを生成します。

ABSTRACT

Generative Adversarial Network (GAN) and its variants have recently attracted intensive research interests due to their elegant theoretical foundation and excellent empirical performance as generative models. These tools provide a promising direction in the studies where data availability is limited. One common issue in GANs is that the density of the learned generative distribution could concentrate on the training data points, meaning that they can easily remember training samples due to the high model complexity of deep networks. This becomes a major concern when GANs are applied to private or sensitive data such as patient medical records, and the concentration of distribution may divulge critical patient information. To address this issue, in this paper we propose a differentially private GAN (DPGAN) model, in which we achieve differential privacy in GANs by adding carefully designed noise to gradients during the learning procedure. We provide rigorous proof for the privacy guarantee, as well as comprehensive empirical evidence to support our analysis, where we demonstrate that our method can generate high quality data points at a reasonable privacy level.

研究の動機と目的

• 医療など機微な領域から生成された GAN データを共有する際のプライバシー懸念を喚起する。
• GAN訓練中に正式な差分プライバシー保証を提供する DP-GAN フレームワークを提案する。
• 勾配レベルのノイズ追加と識別器のウェイトクリッピングによってプライバシーを達成できることを示す。
• 複数のベンチマークにおいて妥当なプライバシ予算下で DP-GAN が高品質なデータを生成できることを実証する。

提案手法

• Wasserstein GAN (WGAN) フレームワークを採用し、綿密に設計された勾配ノイズとクリッピングを追加する。
• モーメント・アカウンターを用いてプライバシー損失を制限し、ε, δ の保証を導出する。
• 識別器のウェイトをクリッピングして勾配ノルムを制限し、勾配推定にガウスノイズを加える。
• ノイズ付き識別器訓練が (ε, δ)-差分プライバシーを満たすこと、そしてポスト処理が秘密の生成器パラメータをもたらすことを証明する。
• varying ε 値で MNIST および MIMIC-III の実験を通じてプライバシー保証を示す。

実験結果

リサーチクエスチョン

• RQ1 DP-GAN フレームワークは訓練中に正式な差分プライバシー保証を提供できるか。
• RQ2 勾配レベルのノイズがプライバシー予算の範囲で生成データの品質にどのように影響するか。
• RQ3 DP-GAN におけるプライバシーレベル（ε）と生成性能の関係は何か。
• RQ4 DP 制約の下で生成器が訓練データを memorize せず有用なデータを生成できるか。

主な発見

• DPGAN は訓練データを保護しつつ、妥当なプライバシーレベルで高品質なデータポイントを生成できる。
• Wasserstein 距離は訓練中に収束し、より強いプライバシー（ノイズが多いほど）だと変動が大きくなる。
• 生成データは訓練サンプルと近傍比較で異なるままである（ε を変えた場合の最近傍比較による示唆）。
• 生成データを用いた MNIST の分類タスクは、ノイズのためプライバシーが強化される（ε が小さい）と性能が低下する。
• 本フレームワークは異なるネットワーク構造とデータセット（MNIST および MIMIC-III）へ一般化可能。