[論文レビュー] Differentially Private Synthetic Data: Applied Evaluations and Enhancements

Lucas Rosenblatt, Xiaoyan Liu+4 more|arXiv (Cornell University)|Nov 11, 2020

Privacy-Preserving Technologies in Data参考文献 50被引用数 23

ひとこと要約

本稿では、4種類のプライバシー保護型GANを評価し、機械学習における合成データの有用性を向上させるために、QUAILと呼ばれるアンサンブルベースの手法を提案する。プライバシー予算とデータ特性に大きく依存するモデル性能を示し、高プライバシー予算（ε ≥ 3.0）ではPATECTGANが、低プライバシー予算（ε ≤ 1.0）ではDPCTGANが優れた性能を発揮するが、QUAILはプライバシーを損なわず、統計的類似性を維持したまま有用性を向上させることを示している。

ABSTRACT

Machine learning practitioners frequently seek to leverage the most informative available data, without violating the data owner's privacy, when building predictive models. Differentially private data synthesis protects personal details from exposure, and allows for the training of differentially private machine learning models on privately generated datasets. But how can we effectively assess the efficacy of differentially private synthetic data? In this paper, we survey four differentially private generative adversarial networks for data synthesis. We evaluate each of them at scale on five standard tabular datasets, and in two applied industry scenarios. We benchmark with novel metrics from recent literature and other standard machine learning tools. Our results suggest some synthesizers are more applicable for different privacy budgets, and we further demonstrate complicating domain-based tradeoffs in selecting an approach. We offer experimental learning on applied machine learning scenarios with private internal data to researchers and practioners alike. In addition, we propose QUAIL, an ensemble-based modeling approach to generating synthetic data. We examine QUAIL's tradeoffs, and note circumstances in which it outperforms baseline differentially private supervised learning models under the same budget constraint.

研究の動機と目的

• 実世界の機械学習応用におけるプライバシー保護型合成データ生成手法の有効性を評価すること。
• DP合成データ手法に対する現実的で大規模なベンチマークの不足に対処すること。
• プライバシーを損なわず、合成データの有用性を向上させるためのアンサンブルベースの拡張手法QUAILを提案・評価すること。
• プライバシー予算、データタイプ、および下流の機械学習タスクに基づいてDP合成器を選択するための実用的ガイドラインを提供すること。
• 合成データ品質を評価するための新規指標（pMSE）および標準的な機械学習指標（AUC-ROC、F1）のストレステストを実施すること。

提案手法

• 5つの標準的なテーブルデータセットおよび2つの実世界の産業データセット上で、4つのDP-GAN（DPGAN、PATE-GAN、DPCTGAN、PATECTGAN）をベンチマーク化した。
• 統計的類似性（pMSE）、機械学習の有用性（AUC-ROC、F1）、トレーニング効率の指標を組み合わせてモデルを評価した。
• プライバシー保護型分類器とDP合成器を組み合わせることで、データの有用性を向上させるアンサンブル手法であるQUAILを提案した。
• 実データ上でDP線形分類器を訓練し、その予測結果をもとに合成データ生成を誘導することで、QUAILを適用した。
• すべてのモデルで一貫したハイパーパramータ設定とプライバシー予算の割り当てを実施したモジュラーな評価パイプラインを用いた。
• QUAILが有用性および統計的類似性に与える影響を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 さまざまなプライバシー予算において、合成データの有用性と統計的類似性の両立を最もよく果たすプライバシー保護型GANアーキテクチャはどれか？
• RQ2 pMSEのような新規指標と標準的な機械学習指標（AUC-ROC、F1）は、合成データ品質の評価においてどの程度相関するか？
• RQ3 QUAILの強化は、プライバシーや分布の忠実度を損なわず、下流の機械学習タスクにおける合成データの有用性をどの程度向上させるか？
• RQ4 次元数、スパarsity、クラス不均衡といったデータ特性は、実世界の応用におけるDP合成器の性能にどのように影響を与えるか？
• RQ5 GANベースの高性能な手法と、より高速で単純な手法（MWEM）との間で、計算上のトレードオフはどのようなものか？

主な発見

• 高プライバシー予算（ε ≥ 3.0）では、PATECTGANが、特に複雑で高次元のデータセットにおいて、他のGANよりも有用性と統計的類似性の両面で優れた性能を発揮した。
• 低プライバシー予算（ε ≤ 1.0）では、DPCTGANが他のモデルよりも優れた有用性を示したが、PATECTGANはより強い統計的類似性を維持していた。
• QUAILは、評価されたすべてのシナリオにおいて合成データの有用性を一貫して向上させ、F1スコアの向上をもたらしたが、AUC-ROCが低下する場合もあった。これは、両方の指標を監視する必要があることを示唆している。
• pMSEは、統計的類似性を的確かつ簡潔に捉えるのに信頼性があり、実務家が有用性と分布の忠実度のバランスを取るのを支援した。
• GANベースのモデル（特にPATECTGANとDPCTGAN）は、トレーニング時間が著しく長くかかったが、MWEMはカテゴリー型データにおいて依然として高速で競争力を持っていた。
• QUAILの有効性は、下位のプライバシー保護型分類器の品質に強く依存しており、ベースとなる分類器の選定が極めて重要であることが示された。