[论文解读] Invertible Tabular GANs: Killing Two Birds with OneStone for Tabular Data Synthesis

Jaehoon Lee, Jihyeon Hyeong+3 more|arXiv (Cornell University)|Feb 8, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出可逆表格生成对抗网络（IT-GAN），这是一种广义的生成对抗网络（GAN）框架，通过基于神经型常微分方程（Neural ODEs）的可逆神经网络，将对抗训练与负对数密度正则化相结合。通过在训练过程中控制负对数密度，IT-GAN 同时提升了生成质量（通过密度最小化）并增强了隐私保护能力（通过密度最大化），在六个真实世界表格数据集上，其在生成质量与对隐私攻击的鲁棒性方面均优于基线模型。

ABSTRACT

Tabular data synthesis has received wide attention in the literature. This is because available data is often limited, incomplete, or cannot be obtained easily, and data privacy is becoming increasingly important. In this work, we present a generalized GAN framework for tabular synthesis, which combines the adversarial training of GANs and the negative log-density regularization of invertible neural networks. The proposed framework can be used for two distinctive objectives. First, we can further improve the synthesis quality, by decreasing the negative log-density of real records in the process of adversarial training. On the other hand, by increasing the negative log-density of real records, realistic fake records can be synthesized in a way that they are not too much close to real records and reduce the chance of potential information leakage. We conduct experiments with real-world datasets for classification, regression, and privacy attacks. In general, the proposed method demonstrates the best synthesis quality (in terms of task-oriented evaluation metrics, e.g., F1) when decreasing the negative log-density during the adversarial training. If increasing the negative log-density, our experimental results show that the distance between real and fake records increases, enhancing robustness against privacy attacks.

研究动机与目标

• 解决数据共享中高保真度表格数据生成与隐私保护的双重挑战。
• 克服标准 GAN 的局限性，后者为追求真实感而牺牲了信息泄露风险。
• 开发一个统一框架，通过可控的对数密度正则化，实现生成质量与隐私鲁棒性之间的权衡。
• 通过将自编码器与可逆生成器结合，提升高维表格数据的泛化能力与训练稳定性。
• 在分类、回归与隐私攻击场景下，通过实证验证该框架在多样化表格数据集上的有效性。

提出的方法

• 生成器基于神经型常微分方程（Neural ODEs）与可逆耦合层构建，可通过无偏雅可比行列式估计（使用 Huchinson 估计器）实现精确似然估计。
• 该框架引入负对数密度正则化项，可被最小化（以提升生成质量）或最大化（以增强隐私保护）。
• 使用自编码器（AE）将高维表格数据映射至低维潜在空间，在保持可逆生成器维度的同时，实现解耦学习。
• 联合训练流程结合了 GAN 对抗损失、AE 重建损失与负对数密度正则化，实现端到端优化。
• 提出两种变体：IT-GAN(Q) 最小化对数密度以提升生成质量，IT-GAN(L) 最大化对数密度以增强隐私鲁棒性。
• 该方法使用超参数 γ 控制对数密度正则化的强度，实现精细化的权衡调节。

实验结果

研究问题

• RQ1 在可逆 GAN 框架中引入负对数密度正则化，是否能同时提升表格数据生成的生成质量与隐私保护能力？
• RQ2 在训练过程中控制负对数密度，如何影响真实数据与生成数据之间的分布相似性？
• RQ3 所提出方法在多大程度上能降低对生成表格数据的全黑箱隐私攻击成功率？
• RQ4 将自编码器与可逆生成器结合，如何提升高维表格数据训练的稳定性与性能？
• RQ5 在质量与隐私之间实现平衡时，潜在维度与正则化强度等超参数的最优配置是什么？

主要发现

• IT-GAN(Q)（最小化负对数密度）在任务导向性能上表现最佳，在 Adult、Census、Credit、Cabs 和 King 数据集上的 F1 分数全面优于所有基线模型。
• IT-GAN(L)（最大化负对数密度）显著降低了全黑箱隐私攻击的成功率，在 Adult 数据集上达到最低的 ROCAUC（0.599±0.016），优于所有其他方法。
• 在 News 数据集上，当 γ = -0.011 时，IT-GAN(L) 的攻击成功率最低（ROCAUC 为 0.752），展现出强大的隐私鲁棒性。
• IT-GAN(L) 中真实数据与生成数据之间的距离分布显示显著分离，证实了重识别风险降低。
• 敏感性分析表明，γ = 0.01 与潜在空间维度 dim(h) = 128 在多个指标上表现最优，且 dim(h) = 128 在多数情况下产生最佳结果。
• 在多分类与类别不平衡的数据集（如 Census 与 Credit）中，所有生成模型（包括 IT-GAN）的性能仍低于真实数据，表明此类场景仍存在挑战。