[論文レビュー] GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators

Dingfan Chen, Tribhuvanesh Orekondy+1 more|arXiv (Cornell University)|Jun 15, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用数 30

ひとこと要約

GS-WGAN は Wasserstein 目的関数の下で生成器勾配を選択的にサニタイズすることにより DP GAN を訓練し、集中型および連合学習設定における高次元データ生成を改善する。

ABSTRACT

The wide-spread availability of rich data has fueled the growth of machine learning applications in numerous domains. However, growth in domains with highly-sensitive data (e.g., medical) is largely hindered as the private nature of data prohibits it from being shared. To this end, we propose Gradient-sanitized Wasserstein Generative Adversarial Networks (GS-WGAN), which allows releasing a sanitized form of the sensitive data with rigorous privacy guarantees. In contrast to prior work, our approach is able to distort gradient information more precisely, and thereby enabling training deeper models which generate more informative samples. Moreover, our formulation naturally allows for training GANs in both centralized and federated (i.e., decentralized) data scenarios. Through extensive experiments, we find our approach consistently outperforms state-of-the-art approaches across multiple metrics (e.g., sample quality) and datasets.

研究の動機と目的

• 高次元データのプライバシー保護付きデータ公開を動機づける。
• 選択的に生成器勾配をサニタイズする DP-GAN（GS-WGAN）を提案する。
• 勾配ペナルティを伴う Wasserstein 損失を活用して勾配感度を制限し、実用性を向上させる。
• GS-WGAN をフェデレーテッド学習へ拡張し、証明可能な DP 保証を提供する。

提案手法

• DP-SGD 的な勾配サニタイズを生成器パラメータに選択的に適用する。
• 勾配ペナルティを伴う Wasserstein GAN の目的関数を採用し、識別器の勾配をリ Lipschitz に保つ。
• チェーンルールを活用して情報損失を最小化しつつ、生成器の上流勾配をクリップしてノイズを加える。
• プライバシーを増幅するための後処理とサブサンプリングを活用し、フェデレーテッド設定でのユーザー単位の DP を実現する。
• フェデレーティッド風の設定で、複数の識別器を異なるサブセットで訓練し、プライバシーコストを削減する。

実験結果

リサーチクエスチョン

• RQ1 DP での完全な DP-SGD よりも生成器のみの選択的勾配サニタイズが実用性を向上させるか？
• RQ2 勾配ペナルティを伴う Wasserstein 目的が勾配ノルムを安定化させ、プライバシー予算の負担を緩和するか？
• RQ3 GS-WGAN は証明可能な DP 保証を備えた分散・分散化データ設定で効果的に適用できるか？
• RQ4 サブサンプリングは DP GAN 学習におけるプライバシーと実用性のトレードオフにどう影響するか？

主な発見

方法	IS ↑	FID ↓	MLP ↑	CNN ↑	Avg ↑	Calibrated ↑
Real (MNIST)	9.80	1.02	0.98	0.99	0.88	100 %
G-PATE (MNIST)	3.85	177.16	0.25	0.51	0.34	40 %
DP-SGD GAN (MNIST)	4.76	179.16	0.60	0.63	0.52	59 %
DP-Merf (MNIST)	2.91	247.53	0.63	0.63	0.57	66 %
DP-Merf AE (MNIST)	3.06	161.11	0.54	0.68	0.42	47 %
Ours (MNIST)	9.23	61.34	0.79	0.80	0.60	69 %
Real (Fashion-MNIST)	8.98	1.49	0.88	0.91	0.79	100 %
G-PATE (Fashion-MNIST)	3.35	205.78	0.30	0.50	0.40	54 %
DP-SGD GAN (Fashion-MNIST)	3.55	243.80	0.50	0.46	0.43	53 %
DP-Merf (Fashion-MNIST)	2.32	267.78	0.56	0.62	0.51	65 %
DP-Merf AE (Fashion-MNIST)	3.68	213.59	0.56	0.62	0.45	55 %
Ours (Fashion-MNIST)	5.32	131.34	0.65	0.65	0.53	67 %

• GS-WGAN は MNIST および Fashion-MNIST において最先端の DP GAN ベースラインより高品質なサンプルを達成（IS の改善と FID の低下）。
• 勾配ペナルティ付きの Wasserstein 目的は勾配ノルムを制限し、クリッピングによる実用性の損失を低減。
• 生成器パラメータの選択的サニタイズにより、DP 学習を競争力のあるまたは優れた下流タスク性能で実現できる。
• 連合 GS-WGAN は Fed-Avg GAN と比較して通信量を削減し、プライバシーコストを低減した DP 保証を提供する。
• サブサンプリングと温初期化戦略は、プライバシーと実用性のトレードオフとノイズ耐性をさらに改善する。