[论文解读] An Analysis of the Deployment of Models Trained on Private Tabular Synthetic Data: Unexpected Surprises

Mayana Pereira, Meghana Kshirsagar+3 more|arXiv (Cornell University)|Jun 15, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 4

一句话总结

本文研究了差分隐私合成表格数据对机器学习模型效用和公平性的影响。结果表明，尽管更高的隐私保护会降低模型效用，但并不会一致地增加偏差；关键的是，基于合成数据训练和评估的模型在真实数据上的表现往往显著变差，尤其是在公平性指标方面，凸显了测试流程中的关键缺口。

ABSTRACT

Diferentially private (DP) synthetic datasets are a powerful approach for training machine learning models while respecting the privacy of individual data providers. The effect of DP on the fairness of the resulting trained models is not yet well understood. In this contribution, we systematically study the effects of differentially private synthetic data generation on classification. We analyze disparities in model utility and bias caused by the synthetic dataset, measured through algorithmic fairness metrics. Our first set of results show that although there seems to be a clear negative correlation between privacy and utility (the more private, the less accurate) across all data synthesizers we evaluated, more privacy does not necessarily imply more bias. Additionally, we assess the effects of utilizing synthetic datasets for model training and model evaluation. We show that results obtained on synthetic data can misestimate the actual model performance when it is deployed on real data. We hence advocate on the need for defining proper testing protocols in scenarios where differentially private synthetic datasets are utilized for model training and evaluation.

研究动机与目标

• 研究差分隐私合成数据对表格机器学习中模型效用和公平性的影响。
• 评估模型在合成数据与真实数据上性能的差异，特别是在部署阶段。
• 评估更高的隐私保证是否会导致下游模型中偏差增加。
• 识别在确保隐私的同时保持公平性的合成数据生成方法。
• 倡导在使用合成数据进行模型训练和评估时，采用修订后的测试协议。

提出的方法

• 作者使用PrivBayes、QUAIL+CTGAN、QUAIL+PATECTGAN及其他合成器生成的差分隐私合成数据，以及真实数据训练分类模型。
• 通过AUC、真正率（TPR）和阳性预测值（PPV）等标准指标评估模型性能，并在合成数据和真实数据测试集之间进行对比。
• 通过设置ε值为0.1和10来控制隐私-效用权衡，实施差分隐私。
• 使用子群特定性能指标评估公平性，通过少数群体与多数群体之间的差异进行衡量。
• 研究使用了三个基准数据集：Adult、COMPAS和Fair COMPAS，以评估在不同偏差特征下的泛化能力。
• 实验比较了模型在评估阶段（在合成数据上）和部署阶段（在真实数据上）的性能，识别出性能漂移现象。

实验结果

研究问题

• RQ1 在差分隐私合成数据中，增加隐私预算（ε）如何影响模型效用和公平性？
• RQ2 合成数据生成中更高的隐私是否会导致下游分类模型中偏差增加？
• RQ3 合成数据上的模型性能指标与真实世界数据上的性能指标之间的相关性有多大？
• RQ4 不同的合成数据生成框架（如PrivBayes与QUAIL）如何影响公平性结果？
• RQ5 仅在合成数据上训练和评估的模型能否可靠预测其在真实世界中的公平性和效用？

主要发现

• 在差分隐私合成数据上训练的模型，随着隐私保护增强（ε降低），效用持续下降，证实了隐私-效用权衡的存在。
• 尽管效用下降，更高的隐私保护并不一定导致偏差增加——公平性结果取决于所使用的合成器。
• 对于PrivBayes生成的合成数据，模型在真实数据上的AUC通常高于在合成测试数据上的表现，表明其在真实世界中表现优于预期。
• 相比之下，在QUAIL+CTGAN和QUAIL+PATECTGAN生成的合成数据上训练的模型，在从评估到部署阶段均表现出效用和公平性的持续下降，尤其在ε值较低时更为明显。
• 大多数合成器在从评估到部署阶段，TPR和PPV等公平性指标显著恶化，表明合成数据低估了真实世界中的偏差。
• 在所有合成器中，效用或公平性表现没有一致的模式，QUAIL+PATECTGAN的结果因数据集和ε值的不同而呈现混合结果。