[论文解读] Differentially Private Synthetic Data: Applied Evaluations and Enhancements

Lucas Rosenblatt, Xiaoyan Liu+4 more|arXiv (Cornell University)|Nov 11, 2020

Privacy-Preserving Technologies in Data参考文献 50被引用 23

一句话总结

本文评估了四种差分隐私生成对抗网络（GAN），并提出QUAIL——一种基于集成的方法，以在保护隐私的同时提升机器学习中合成数据的实用性。结果表明，模型性能在很大程度上取决于隐私预算和数据特性：在高隐私预算（ε ≥ 3.0）下，PATECTGAN表现最佳；在低隐私预算（ε ≤ 1.0）下，DPCTGAN表现更优；而QUAIL在不损害隐私或统计相似性的情况下提升了数据实用性。

ABSTRACT

Machine learning practitioners frequently seek to leverage the most informative available data, without violating the data owner's privacy, when building predictive models. Differentially private data synthesis protects personal details from exposure, and allows for the training of differentially private machine learning models on privately generated datasets. But how can we effectively assess the efficacy of differentially private synthetic data? In this paper, we survey four differentially private generative adversarial networks for data synthesis. We evaluate each of them at scale on five standard tabular datasets, and in two applied industry scenarios. We benchmark with novel metrics from recent literature and other standard machine learning tools. Our results suggest some synthesizers are more applicable for different privacy budgets, and we further demonstrate complicating domain-based tradeoffs in selecting an approach. We offer experimental learning on applied machine learning scenarios with private internal data to researchers and practioners alike. In addition, we propose QUAIL, an ensemble-based modeling approach to generating synthetic data. We examine QUAIL's tradeoffs, and note circumstances in which it outperforms baseline differentially private supervised learning models under the same budget constraint.

研究动机与目标

• 评估差分隐私合成数据生成方法在真实世界机器学习应用中的有效性。
• 解决DP合成数据方法缺乏真实、大规模基准测试的问题。
• 提出并评估QUAIL——一种基于集成的增强方法，以在不牺牲隐私的前提下提升合成数据的实用性。
• 为基于隐私预算、数据类型和下游机器学习任务选择DP合成器提供实用指导。
• 对新型度量标准（如pMSE）和标准机器学习度量（AUC-ROC、F1）进行压力测试，以评估合成数据质量。

提出的方法

• 在五个标准表格数据集和两个真实工业数据集上，对四种DP-GAN（DPGAN、PATE-GAN、DPCTGAN、PATECTGAN）进行基准测试。
• 通过统计相似性（pMSE）、机器学习实用性（AUC-ROC、F1）和训练效率度量的组合来评估模型。
• 提出QUAIL，一种集成方法，通过结合差分隐私分类器与DP合成器来提升数据实用性。
• 通过在真实数据上训练DP线性分类器，并利用其预测结果指导合成数据生成，来应用QUAIL。
• 采用模块化评估流程，确保所有模型在一致的超参数和隐私预算分配下进行评估。
• 开展消融研究，以隔离QUAIL对实用性与统计相似性的影响。

实验结果

研究问题

• RQ1 在不同隐私预算下，哪种差分隐私GAN架构在实用性与统计相似性之间提供了最佳权衡？
• RQ2 新型度量标准（如pMSE）与标准机器学习度量（AUC-ROC、F1）在评估合成数据质量时的相关性如何？
• RQ3 QUAIL增强在不降低隐私或分布保真度的前提下，能在多大程度上提升下游机器学习任务中的合成数据实用性？
• RQ4 数据特性（如维度、稀疏性、类别不平衡）如何影响DP合成器在真实应用中的性能？
• RQ5 高性能GAN-based合成器与更快速、更简单的方法（如MWEM）之间的计算权衡是什么？

主要发现

• 在高隐私预算（ε ≥ 3.0）下，PATECTGAN在复杂、高维数据集上均优于其他GAN，在实用性和统计相似性方面表现最佳。
• 在低隐私预算（ε ≤ 1.0）下，DPCTGAN的实用性优于其他模型，尽管PATECTGAN在统计相似性方面保持更强表现。
• QUAIL在所有评估场景中均一致提升了合成数据的实用性，F1分数有所提高，尽管有时AUC-ROC略有下降，凸显了同时监控两种度量的重要性。
• pMSE是捕捉统计相似性的可靠且简洁的度量，使从业者能够平衡实用性与分布保真度。
• GAN-based模型的训练时间显著更长（尤其是PATECTGAN和DPCTGAN），而MWEM在分类数据上仍保持快速且具有竞争力。
• QUAIL的有效性高度依赖于底层差分隐私分类器的质量，表明选择合适的基分类器模型至关重要。