[论文解读] 30 Years of Synthetic Data

Jörg Drechsler, Anna‐Carolina Haensch|arXiv (Cornell University)|Apr 4, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文回顾了三十年来合成数据研究的发展，追溯其从鲁宾1993年的奠基性工作到当前在统计披露控制和机器学习中应用的演变。它比较了统计学与计算机科学方法，评估了效用与隐私之间的权衡，并强调了生成对抗网络（GANs）和软件工具在实现安全、隐私保护的数据共享方面日益增长的作用，且在实证性能方面表现强劲。

ABSTRACT

The idea to generate synthetic data as a tool for broadening access to sensitive microdata has been proposed for the first time three decades ago. While first applications of the idea emerged around the turn of the century, the approach really gained momentum over the last ten years, stimulated at least in parts by some recent developments in computer science. We consider the upcoming 30th jubilee of Rubin's seminal paper on synthetic data (Rubin, 1993) as an opportunity to look back at the historical developments, but also to offer a review of the diverse approaches and methodological underpinnings proposed over the years. We will also discuss the various strategies that have been suggested to measure the utility and remaining risk of disclosure of the generated data.

研究动机与目标

• 考察过去三十年间合成数据的历史发展，特别是其作为保护敏感微观数据工具的出现。
• 比较并对比统计学与计算机科学在合成数据生成方面的异同，突出其目标、方法和假设上的差异。
• 评估衡量合成数据集效用和残余披露风险的方法，包括保真度度量和验证服务器。
• 评估合成数据在现实世界场景中的实际适用性，特别是在公共部门和医疗领域，以及在机器学习工作流中的应用。
• 识别当前研究中的空白，例如缺乏对不同合成方法的系统性比较，并为未来研究提出方向。

提出的方法

• 本文对合成数据方法进行了历史与方法论的综述，重点关注为保密性保护而设计的方法。
• 它区分了统计方法（例如基于多重插补的合成、贝叶斯网络、CART模型）与计算机科学方法（例如GANs、深度生成模型）。
• 作者使用单一数据集评估合成策略，比较CART、贝叶斯网络以及两种GAN实现（tableGAN、CTGAN）在效用与风险方面的表现。
• 他们讨论了验证服务器的使用，使研究人员能够提交分析并获得保真度评分，而无需访问原始数据。
• 本文回顾了现有工具，如synthpop和合成数据保险库（synthetic data vault），这些工具可实现无需底层实现的实用部署。
• 它强调了保真度度量和风险评估技术的重要性，包括那些可避免泄露敏感信息的技术。

实验结果

研究问题

• RQ1 过去三十年间，合成数据方法如何演变？其发展过程中的关键里程碑是什么？
• RQ2 统计学与计算机科学在合成数据生成方面的核心差异是什么？它们在效用与隐私方面如何对齐？
• RQ3 如何可靠地衡量并比较不同合成技术下合成数据的效用和残余披露风险？
• RQ4 与传统统计模型相比，现代生成模型（如GANs）在多大程度上提升了合成数据的质量？
• RQ5 在原始数据访问受限的情况下，使用合成数据在实际应用中的实际影响是什么？

主要发现

• 基于顺序回归的CART方法在所评估方法中实现了最高的效用，但同时也带来了最高的披露风险。
• 在基于GAN的方法中，CTGAN的性能与贝叶斯网络相当，而tableGAN则导致效用严重不足。
• 该评估仅限于一个数据集和默认软件设置，凸显了在多样化数据集和配置下开展更广泛、更系统性比较的必要性。
• 验证服务器通过提供自动、安全的分析检查，而无需暴露结果，为直接访问原始数据提供了一个有前景的替代方案。
• 尽管起源和目标不同，统计学与计算机科学在合成数据方法上的界限正在模糊，合作日益增多，方法论见解也日益共享。
• 用户友好工具（如synthpop和合成数据保险库）的日益普及，显著降低了统计机构和其他数据提供者使用合成数据的门槛。