[论文解读] Measuring the quality of Synthetic data for use in competitions

James Jordon, Jinsung Yoon+1 more|arXiv (Cornell University)|Jun 29, 2018

Privacy-Preserving Technologies in Data参考文献 13被引用 16

一句话总结

本文提出合成排名一致度（SRA），一种新颖的度量方法，用于在机器学习竞赛中评估合成数据质量，通过衡量算法在合成数据上的相对性能排名是否与在真实数据上的排名一致。SRA 确保基于合成数据选择模型的研究人员，其选择结果与基于真实数据的选择一致，相较于现有方法（如 TSTR），提供了更具实际相关性且更注重隐私的评估方式。

ABSTRACT

Machine learning has the potential to assist many communities in using the large datasets that are becoming more and more available. Unfortunately, much of that potential is not being realized because it would require sharing data in a way that compromises privacy. In order to overcome this hurdle, several methods have been proposed that generate synthetic data while preserving the privacy of the real data. In this paper we consider a key characteristic that synthetic data should have in order to be useful for machine learning researchers - the relative performance of two algorithms (trained and tested) on the synthetic dataset should be the same as their relative performance (when trained and tested) on the original dataset.

研究动机与目标

• 为解决在因敏感性而无法共享数据的隐私保护型机器学习竞赛中，评估合成数据质量的挑战。
• 确保基于合成数据选择模型的研究人员，其选择结果与基于真实数据的选择一致。
• 提出一种反映合成数据在算法比较中实际效用的度量方法，而非仅关注统计相似性。
• 证明 SRA 可在标签噪声存在的情况下，提供强于现有度量方法（如 TSTR）的隐私保障，尤其在标签噪声条件下表现更优。
• 使用一组包含 12 种机器学习算法的多样化数据集，为合成数据生成方法提供一种实用且可复现的基准。

提出的方法

• 提出合成排名一致度（SRA）作为度量方法，计算任意两个算法在合成数据上的相对性能排名与在真实数据上排名一致的经验证据概率。
• 将 SRA 在数学上定义为：在所有成对比较中，两个算法在真实数据与合成数据上性能差异符号保持一致的比例。
• 使用一组固定的 12 种多样化机器学习算法（例如，逻辑回归、XGBoost、随机森林）来评估合成数据与真实数据之间排名的一致性。
• 采用标准性能度量（AUROC）计算算法在真实和合成测试集上的性能表现。
• 在不同水平的标签噪声下，将 SRA 与 TSTR（在合成数据上训练，在真实数据上测试）度量进行对比，以评估隐私与质量之间的权衡。
• 采用 MAGGIC 数据集进行实证评估，并公开发布代码以确保可复现性。

实验结果

研究问题

• RQ1 机器学习算法在合成数据上的相对性能排名是否能可靠地反映其在真实数据上的排名？
• RQ2 SRA 是否可作为比 TSTR 更有效且更尊重隐私的度量方法，用于在竞赛环境中评估合成数据？
• RQ3 随着标签噪声增加（以增强隐私保护），SRA 和 TSTR 如何变化？这对合成数据的效用与隐私权衡意味着什么？
• RQ4 在评估中包含同一算法类别下的多个变体在多大程度上会引入 SRA 度量的偏差？
• RQ5 SRA 是否能够识别出在真实数据经噪声扰动后仍能保持算法排名一致性的合成数据生成方法？

主要发现

• 当引入标签噪声时（例如，从 p=0.10 增加到 p=0.15），SRA 保持稳定甚至略有上升，表明其对数据扰动的敏感性低于 TSTR。
• 由于在更嘈杂的数据上模型准确率下降，TSTR 性能随标签噪声增加而单调下降，符合预期。
• SRA 可识别出在强隐私约束下仍能保持算法排名一致性的合成数据生成方法，表明其具备更优的隐私-效用权衡。
• 包含同一算法类别下的多个变体（例如，不同深度的多层感知机）可能人为地提高 SRA 值，凸显了在评估中需谨慎选择算法。
• 与 TSTR 相比，SRA 为基于竞赛的模型开发提供了更具实际相关性的评估度量，因为它直接衡量了模型选择的一致性。
• 该方法对噪声具有鲁棒性，在真实数据被扰动时仍能保持较高的排名一致性，因此特别适用于隐私保护型机器学习应用。