[論文レビュー] RDP-GAN: A Rényi-Differential Privacy based Generative Adversarial Network

Chuan Ma, Jun Li+5 more|arXiv (Cornell University)|Jul 4, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 12

ひとこと要約

本稿では、訓練中にディスクライマの損失関数にノイズを注入することにより、Rényi微分プライバシー（RDP）を達成する生成対抗ネットワーク、RDP-GANを提案する。サブサンプリングおよび繰り返し学習下でのプライバシー損失を解析的に導出するとともに、適応的ノイズチューニング機構を導入することで、勾配ベースのDP-GANと比較して、プライバシー保護を著しく向上させつつ、高い生成品質を維持する。

ABSTRACT

Generative adversarial network (GAN) has attracted increasing attention recently owing to its impressive ability to generate realistic samples with high privacy protection. Without directly interactive with training examples, the generative model can be fully used to estimate the underlying distribution of an original dataset while the discriminative model can examine the quality of the generated samples by comparing the label values with the training examples. However, when GANs are applied on sensitive or private training examples, such as medical or financial records, it is still probable to divulge individuals' sensitive and private information. To mitigate this information leakage and construct a private GAN, in this work we propose a Rényi-differentially private-GAN (RDP-GAN), which achieves differential privacy (DP) in a GAN by carefully adding random noises on the value of the loss function during training. Moreover, we derive the analytical results of the total privacy loss under the subsampling method and cumulated iterations, which show its effectiveness on the privacy budget allocation. In addition, in order to mitigate the negative impact brought by the injecting noise, we enhance the proposed algorithm by adding an adaptive noise tuning step, which will change the volume of added noise according to the testing accuracy. Through extensive experimental results, we verify that the proposed algorithm can achieve a better privacy level while producing high-quality samples compared with a benchmark DP-GAN scheme based on noise perturbation on training gradients.

研究の動機と目的

• 医療や金融記録などの機微なデータを学習対象とするGANにおけるプライバシー漏洩リスクに対処すること。
• 従来の微分プライバシーではなくRényi微分プライバシー（RDP）を用いることで、標準的なDP-GANよりも強いプライバシー保証を達成すること。
• サブサンプリングおよび複数回の学習反復下でのプライバシー予算の解析的割り当てを導出すること。
• ノイズ注入による性能劣化を、適応的ノイズチューニング機構により軽減すること。

提案手法

• 訓練中にディスクライマの損失関数にランダムなノイズを直接注入することで、Rényi微分プライバシー（RDP）を強制する。
• RDP合成定理を用いて、サブサンプリングおよび累積的学習反復下での総プライバシー損失の解析的表現を導出する。
• 後処理定理を適用し、生成器が微分プライベートなディスクライマからプライバシー保証を継承できることを保証する。
• リアルタイムのテスト精度に基づいてノイズ分散を動的に調整する適応的ノイズチューニングステップを導入し、プライバシーと生成品質のバランスを図る。
• RDP合成フレームワークを用いて、隣接データセット下での損失関数比のRDP発散を計算し、プライバシー境界を算出する。
• 一連の数学的不等式および級数展開を用いてRDP発散を評価し、閉形式のプライバシー予算を導出する。

実験結果

リサーチクエスチョン

• RQ1 勾配ではなくディスクライマの損失関数にノイズを注入することで、GANにおけるプライバシー・ユーティリティトレードオフが向上するか？
• RQ2 GAN設定下で、サブサンプリングおよび複数回の学習反復下での総プライバシー損失をどのように解析的に計算できるか？
• RQ3 適応的ノイズチューニングの影響は、プライバシーを保持しつつ高品質なサンプル生成を維持する上でどのようなものか？
• RQ4 RDP-GANは、勾配摂動ベースのDP-GANと比較して、プライバシー予算およびサンプル忠実度の面でどのように異なるか？

主な発見

• RDP合成を用いることで、標準的なDP-GANと比較して、よりタイトなプライバシー予算バインディングを達成し、プライバシー・ユーティリティトレードオフを改善する。
• サブサンプリングおよび反復的学習下でのプライバシー損失の解析的導出により、学習ステップ全体にわたるプライバシー予算の正確な割り当てが可能になる。
• 適応的ノイズチューニング機構により、ノイズ注入の悪影響が軽減され、強いプライバシー制約下でも高品質なサンプル生成を維持できる。
• 実験結果から、RDP-GANは、特に高いプライバシー制約下において、ベンチマークとなるDP-GANを上回るプライバシー保護力とサンプル品質を示している。
• 理論的分析により、生成器が後処理定理により微分プライベートなディスクライマからプライバシー保証を継承することが確認された。