[论文解读] The Inadequacy of Similarity-based Privacy Metrics: Privacy Attacks against "Truly Anonymous" Synthetic Datasets

Georgy Ganev, Emiliano De Cristofaro|arXiv (Cornell University)|Dec 8, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文揭示了合成数据提供商用于声称隐私保护的基于相似性的隐私度量（SBPMs）中存在的关键缺陷。它提出了ReconSyn，一种仅需生成模型和隐私度量即可进行黑盒重建攻击的方法，成功恢复了78%的低密度训练记录，证明即使结合差分隐私或低效生成器，SBPMs也无法确保隐私。

ABSTRACT

Generative models producing synthetic data are meant to provide a privacy-friendly approach to releasing data. However, their privacy guarantees are only considered robust when models satisfy Differential Privacy (DP). Alas, this is not a ubiquitous standard, as many leading companies (and, in fact, research papers) use ad-hoc privacy metrics based on testing the statistical similarity between synthetic and real data. In this paper, we examine the privacy metrics used in real-world synthetic data deployments and demonstrate their unreliability in several ways. First, we provide counter-examples where severe privacy violations occur even if the privacy tests pass and instantiate accurate membership and attribute inference attacks with minimal cost. We then introduce ReconSyn, a reconstruction attack that generates multiple synthetic datasets that are considered private by the metrics but actually leak information unique to individual records. We show that ReconSyn recovers 78-100% of the outliers in the train data with only black-box access to a single fitted generative model and the privacy metrics. In the process, we show that applying DP only to the model does not mitigate this attack, as using privacy metrics breaks the end-to-end DP pipeline.

研究动机与目标

• 分析业界用于实证保证合成数据隐私的基于相似性的隐私度量（SBPMs）的固有缺陷。
• 证明尽管通过了标准评估标准，SBPMs仍会提供虚假的隐私保障。
• 提出ReconSyn，一种仅需生成模型和SBPMs即可恢复训练记录的黑盒重建攻击。
• 表明当与未扰动的启发式方法结合时，对生成模型应用差分隐私（DP）并不能缓解ReconSyn攻击。
• 主张SBPMs不足以满足GDPR合规要求，不应作为主要隐私保障手段。

提出的方法

• 设计一种重建攻击ReconSyn，其假设条件最少：仅需对单个训练好的生成模型和隐私度量具有黑盒访问权限。
• 通过迭代生成合成样本并使用相同的度量方法测量其与训练记录的相似性，来利用SBPMs的结构特征。
• 针对低密度训练记录（异常值）进行攻击，这些记录由于本身不易被生成模型良好模拟，因而更容易受到重建攻击。
• 利用SBPMs中统计距离阈值来引导搜索，识别出与合成样本过于接近的记录，表明可能存在记忆现象。
• 在多种最先进的表格生成模型（PrivBayes、MST、DPGAN、PATE-GAN、CTGAN）上应用该攻击，覆盖多种数据集（Adult、Census、MNIST）。
• 证明当生成器为低效模型（如Random、Independent）时，ReconSyn依然有效，从而证明泄露的根本原因在于度量机制，而非模型本身。

实验结果

研究问题

• RQ1 基于相似性的隐私度量能否可靠检测并防止合成数据中的隐私泄露？
• RQ2 尽管通过了标准评估标准，SBPMs在多大程度上仍无法保护低密度训练记录（异常值）？
• RQ3 黑盒攻击者是否能仅通过访问生成模型和SBPMs本身来重建训练数据？
• RQ4 当SBPMs仍被使用时，对生成模型应用差分隐私是否能缓解重建攻击？
• RQ5 SBPMs是否足以满足如GDPR等隐私法规的合规要求？

主要发现

• ReconSyn在所有评估设置下均以完美精确度成功重建了至少78%的低密度训练记录（异常值）。
• 该攻击在低效生成器（如Random和Independent）上依然有效，证明主要泄露源是隐私度量机制，而非模型本身。
• 当与未扰动的启发式方法结合时，对生成模型应用差分隐私无法阻止ReconSyn，因为攻击直接利用了度量机制。
• 本研究通过反例揭示了广泛使用的SBPMs存在严重缺陷，包括不一致性和不可靠性，表明即使隐私测试通过，实际仍存在数据泄露。
• SBPMs无法提供充分的隐私保障，且不足以满足GDPR合规要求，因其无法防止属性推断或成员身份推断攻击。
• 该攻击对生成模型类型、数据集或使用场景均不敏感，表明其具有广泛适用性，反映出当前合成数据实践中的系统性风险。