[论文解读] CTAB-GAN+: Enhancing Tabular Data Synthesis

Zilong Zhao, Aditya Kunar+2 more|arXiv (Cornell University)|Apr 1, 2022

Privacy-Preserving Technologies in Data被引用 14

一句话总结

CTAB-GAN+ 是一种条件化表格 GAN，通过新型编码器、带梯度惩罚的Wasserstein损失、用于回归/分类的下游任务头以及DP-SGD训练，提升了数据合成的实用性与隐私保护。在不同隐私预算下，其性能至少比当前最先进（SOTA）的DP GAN高出48.16%。

ABSTRACT

While data sharing is crucial for knowledge development, privacy concerns and strict regulation (e.g., European General Data Protection Regulation (GDPR)) limit its full effectiveness. Synthetic tabular data emerges as alternative to enable data sharing while fulfilling regulatory and privacy constraints. State-of-the-art tabular data synthesizers draw methodologies from Generative Adversarial Networks (GAN). As GANs improve the synthesized data increasingly resemble the real data risking to leak privacy. Differential privacy (DP) provides theoretical guarantees on privacy loss but degrades data utility. Striking the best trade-off remains yet a challenging research question. We propose CTAB-GAN+ a novel conditional tabular GAN. CTAB-GAN+ improves upon state-of-the-art by (i) adding downstream losses to conditional GANs for higher utility synthetic data in both classification and regression domains; (ii) using Wasserstein loss with gradient penalty for better training convergence; (iii) introducing novel encoders targeting mixed continuous-categorical variables and variables with unbalanced or skewed data; and (iv) training with DP stochastic gradient descent to impose strict privacy guarantees. We extensively evaluate CTAB-GAN+ on data similarity and analysis utility against state-of-the-art tabular GANs. The results show that CTAB-GAN+ synthesizes privacy-preserving data with at least 48.16% higher utility across multiple datasets and learning tasks under different privacy budgets.

研究动机与目标

• 解决在 GDPR 等严格监管要求下生成高实用性、隐私保护的合成表格数据的挑战。
• 克服现有 GAN 在处理混合连续-分类变量、偏态分布和类别不平衡方面的局限性。
• 通过使用带梯度惩罚的Wasserstein损失和辅助任务头，提升表格 GAN 的训练稳定性和泛化能力。
• 将差分隐私通过 DP-SGD 集成到单判别器架构中，以降低复杂度并确保理论上的隐私保障。
• 在多个数据集和隐私预算下，建立一个针对 DP 表格 GAN 的稳健基准。

提出的方法

• 提出一种带有辅助分类器和回归器的条件化 GAN 框架，以提升在合成数据上的下游任务性能。
• 采用针对混合类型变量（包括不平衡分类特征和偏态连续特征）量身定制的新型神经编码器。
• 使用带梯度惩罚的Wasserstein距离（Was+GP）以稳定 GAN 训练并改善模式覆盖。
• 对判别器应用 DP-SGD，结合子采样和时刻会计法，以实现 (ε,δ)-差分隐私，同时降低隐私成本。
• 采用单判别器架构，相比 PATE-GAN 或 GS-WGAN 等多判别器方法，简化训练流程并降低复杂度。
• 采用 RDP 基础的隐私会计方法，将累积隐私损失转换为 (ε,δ)-DP 边界，其中 δ=10⁻⁵。

实验结果

研究问题

• RQ1 带有辅助任务头的条件化 GAN 是否能显著提升合成表格数据的机器学习实用性？
• RQ2 与标准 GAN 方法相比，新型编码器在建模混合类型和偏态表格数据方面的有效性如何？
• RQ3 与标准 GAN 目标相比，使用 Was+GP 损失是否能提升表格 GAN 的训练稳定性和数据质量？
• RQ4 能否有效将 DP-SGD 应用于单判别器表格 GAN，以在不牺牲实用性的前提下实现强隐私保障？
• RQ5 在多种真实世界表格数据集中，隐私预算与合成数据实用性之间的权衡关系如何？

主要发现

• CTAB-GAN+ 在分类任务上的准确率至少比非私有的 SOTA GAN 高 41.2%，AUC 提升 56.4%。
• 在 ε=1 时，CTAB-GAN+ 在准确率上比所有 DP GAN 基线模型至少高出 48.16%，F1 分数平均高出 38.05%。
• 该模型显著缩小了统计相似性差距，ε=1 时平均 JSD 为 0.192，平均 WD 为 775，明显优于 PATE-GAN 和 DP-WGAN。
• 在 ε=100 时，CTAB-GAN+ 仍保持强劲性能，与真实数据相比准确率差异为 13.34%，F1 分数差异为 0.311，表明在宽松隐私预算下具有鲁棒性。
• GS-WGAN 在所有指标上表现最差，准确率差异达 64.10%，F1 分数差异为 0.668，凸显其在处理表格数据复杂性方面的局限性。
• 与多判别器 DP-GAN 相比，采用子采样和 DP-SGD 显著降低了隐私成本和复杂度，同时保持了更优的实用性。