[论文解读] Faking feature importance: A cautionary tale on the use of differentially-private synthetic data

Oscar Giles, Kasra Hosseini+14 more|arXiv (Cornell University)|Mar 2, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文研究了在不同数据集上，差分隐私合成数据是否能准确保留特征重要性排序——这对机器学习早期探索至关重要。使用PrivBayes和另一种DP方法，研究发现当隐私预算为中等至较高水平（ε > 0.1）时，合成数据通常无法复现真实的特征重要性，相似度得分低且波动大，尤其在复杂的真实场景中表现更差。

ABSTRACT

Synthetic datasets are often presented as a silver-bullet solution to the problem of privacy-preserving data publishing. However, for many applications, synthetic data has been shown to have limited utility when used to train predictive models. One promising potential application of these data is in the exploratory phase of the machine learning workflow, which involves understanding, engineering and selecting features. This phase often involves considerable time, and depends on the availability of data. There would be substantial value in synthetic data that permitted these steps to be carried out while, for example, data access was being negotiated, or with fewer information governance restrictions. This paper presents an empirical analysis of the agreement between the feature importance obtained from raw and from synthetic data, on a range of artificially generated and real-world datasets (where feature importance represents how useful each feature is when predicting a the outcome). We employ two differentially-private methods to produce synthetic data, and apply various utility measures to quantify the agreement in feature importance as this varies with the level of privacy. Our results indicate that synthetic data can sometimes preserve several representations of the ranking of feature importance in simple settings but their performance is not consistent and depends upon a number of factors. Particular caution should be exercised in more nuanced real-world settings, where synthetic data can lead to differences in ranked feature importance that could alter key modelling decisions. This work has important implications for developing synthetic versions of highly sensitive data sets in fields such as finance and healthcare.

研究动机与目标

• 评估差分隐私合成数据能否保留原始数据中特征重要性的相对排序。
• 评估合成数据在机器学习早期工作流中的实用性，特别是特征工程与选择方面。
• 识别影响合成数据中特征重要性复现准确性的数据集特征。
• 将合成数据性能与基线方法进行比较，评估隐私-效用权衡是否损害其可靠性。
• 为在隐私敏感领域中安全使用合成数据进行探索性分析提供实用指导。

提出的方法

• 通过两种差分隐私合成方法（PrivBayes和第二种DP方法）实证评估原始数据与合成数据之间特征重要性的相似度。
• 应用多种效用度量指标，包括斯皮尔曼等级相关系数（Spearman’s ρ）和肯德尔协调系数（Kendall’s τ），以量化特征重要性排序的一致性。
• 在五个人工数据集和四个真实世界数据集（Adult、German Credit、Bank Marketing，以及一个医疗相关数据集）上进行测试，涵盖不同结构和特征类型。
• 在一系列隐私预算ε值范围内调整，以评估差分隐私对特征重要性保真度的影响。
• 使用基线比较方法（如独立列重采样）建立合成数据性能的下限。
• 在原始数据和合成数据上分别进行模型训练，以AUC为代理指标评估预测性能，作为效用的衡量标准。

实验结果

研究问题

• RQ1 与原始数据相比，差分隐私合成数据在在多大程度上能保留特征重要性的排序？
• RQ2 隐私预算ε如何影响原始数据与合成数据之间特征重要性排序的相似度？
• RQ3 是否存在特定的数据集特征（如多重共线性、特征类型（分类变量与数值变量）、层次结构等）会降低特征重要性复现的准确性？
• RQ4 在保留特征重要性方面，合成数据性能与朴素基线（如独立列重采样）相比如何？
• RQ5 在何种场景下，合成数据可作为原始数据在探索性机器学习任务中的可靠代理？

主要发现

• 在中等至较高隐私水平（ε > 0.1）下，合成数据通常无法准确保留特征重要性排序，相似度得分低且高度波动。
• 在所有数据集中，特征重要性排序的平均相似度得分均保持较低水平，尤其当ε较小时，表明保真度差。
• 在许多情况下，性能甚至劣于如独立列重采样等朴素基线方法，特别是在具有复杂结构的真实世界数据集中。
• 多重共线性较高或特征重要性接近均匀分布的数据集，其特征重要性保真度下降最为显著。
• 在特征较少、样本量较大且特征重要性差异更明显的数据集中，合成数据表现更好，表明结构简单性有助于提升复现效果。
• 与数值特征相比，分类特征的特征重要性在合成数据中被更准确地保留，表明当前DP合成技术存在方法论偏差。