[论文解读] Generating tabular datasets under differential privacy

Gianluca Truda|arXiv (Cornell University)|Aug 28, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

本文提出TableDiffusion，首个用于表格数据合成的差分隐私扩散模型，在严格隐私约束下，于多个真实世界数据集上，其生成数据在保真度、多样性与稳定性方面均优于最先进 GAN 模型。通过预测并减去噪声而非直接去噪，该模型规避了混合类型表格数据表示中的挑战，实现了更优的数据效率与隐私效率。

ABSTRACT

Machine Learning (ML) is accelerating progress across fields and industries, but relies on accessible and high-quality training data. Some of the most important datasets are found in biomedical and financial domains in the form of spreadsheets and relational databases. But this tabular data is often sensitive in nature. Synthetic data generation offers the potential to unlock sensitive data, but generative models tend to memorise and regurgitate training data, which undermines the privacy goal. To remedy this, researchers have incorporated the mathematical framework of Differential Privacy (DP) into the training process of deep neural networks. But this creates a trade-off between the quality and privacy of the resulting data. Generative Adversarial Networks (GANs) are the dominant paradigm for synthesising tabular data under DP, but suffer from unstable adversarial training and mode collapse, which are exacerbated by the privacy constraints and challenging tabular data modality. This work optimises the quality-privacy trade-off of generative models, producing higher quality tabular datasets with the same privacy guarantees. We implement novel end-to-end models that leverage attention mechanisms to learn reversible tabular representations. We also introduce TableDiffusion, the first differentially-private diffusion model for tabular data synthesis. Our experiments show that TableDiffusion produces higher-fidelity synthetic datasets, avoids the mode collapse problem, and achieves state-of-the-art performance on privatised tabular data synthesis. By implementing TableDiffusion to predict the added noise, we enabled it to bypass the challenges of reconstructing mixed-type tabular data. Overall, the diffusion paradigm proves vastly more data and privacy efficient than the adversarial paradigm, due to augmented re-use of each data batch and a smoother iterative training process.

研究动机与目标

• 解决隐私法规限制敏感生物医学与金融表格数据访问所导致的人工智能研究关键瓶颈。
• 克服现有生成模型（尤其是 GAN）在差分隐私下所面临的局限，如模式崩溃、训练不稳定与数据效率低下。
• 通过利用扩散模型的稳定性与迭代训练过程，改进合成表格数据生成中的质量-隐私权衡。
• 开发一种在保持强隐私保障的同时，显著提升数据保真度与多样性的方法，相较以往方法有显著改进。

提出的方法

• 提出TableDiffusion，一种新颖的用于表格数据的差分隐私扩散模型，通过学习预测并从受损数据样本中减去噪声，实现对噪声添加过程的逆向学习。
• 实现扩散模型的噪声预测变体，避免直接重建混合类型表格数据，从而实现更稳定与精确的生成。
• 采用带有可学习位置嵌入的去噪 U-Net 架构，以处理混合数据类型（类别型、数值型）与高基数特征。
• 应用差分隐私随机梯度下降（DP-SGD）并结合 R{\'e}nyi 差分隐私（RDP）追踪机制，确保可证明的隐私保障。
• 通过在多个噪声步骤中重用每个数据批次，集成数据增强策略，提升数据效率并减少隐私预算消耗。
• 设计两阶段训练流程：首先使用自注意力机制预训练表格表示，然后在学习到的嵌入上微调扩散模型。

实验结果

研究问题

• RQ1 在差分隐私表格数据合成背景下，基于扩散的生成模型是否能在数据效率与隐私效率方面优于对抗性模型（如 GAN）？
• RQ2 在混合类型表格数据中，预测扩散过程中添加的噪声是否能带来优于直接去噪的性能与稳定性？
• RQ3 端到端注意力机制表示在差分隐私下，能在多大程度上提升合成表格数据的质量？
• RQ4 与 GAN 的对抗性训练相比，扩散模型的迭代式、基于噪声的训练过程在收敛性、模式覆盖与隐私预算消耗方面表现如何？

主要发现

• 在所有基准数据集上，TableDiffusion 在联合分布与边缘分布保真度方面均持续优于最先进 GAN 基模型，保真度指标以 pMSE 比值与 α-精确率/β-召回率衡量。
• TableDiffusion 的噪声预测变体实现了最高的合成数据质量，相较于 GAN 更好地捕捉了原始数据的多样性，并减少了模式崩溃。
• 由于梯度更新更平滑且每批次数据重用率更高，扩散模型消耗隐私预算的速度显著慢于 GAN，从而实现更高的训练效率。
• TableDiffusion 在多个运行与隐私级别下表现出更优的稳定性，而 GAN 在差分隐私下则表现出高方差与频繁的训练失败。
• 消融研究证实，噪声预测机制是性能提升的主要驱动力，因为它避免了直接重建混合类型表格数据所面临的挑战。
• 平均而言，TableDiffusion 在五个真实世界数据集上相较最佳 GAN 基线，在 α-精确率与 β-召回率指标上实现了 25–40% 的提升。