[论文解读] CTAB-GAN: Effective Table Data Synthesizing

Zilong Zhao, Aditya Kunar+3 more|arXiv (Cornell University)|Feb 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 63

一句话总结

CTAB-GAN 是一种用于表格数据的条件GAN，能够处理混合数据类型、长尾分布和不平衡分布，在 ML 实用性和统计相似性方面优于现有方法。

ABSTRACT

While data sharing is crucial for knowledge development, privacy concerns and strict regulation (e.g., European General Data Protection Regulation (GDPR)) unfortunately limit its full effectiveness. Synthetic tabular data emerges as an alternative to enable data sharing while fulfilling regulatory and privacy constraints. The state-of-the-art tabular data synthesizers draw methodologies from generative Adversarial Networks (GAN) and address two main data types in the industry, i.e., continuous and categorical. In this paper, we develop CTAB-GAN, a novel conditional table GAN architecture that can effectively model diverse data types, including a mix of continuous and categorical variables. Moreover, we address data imbalance and long-tail issues, i.e., certain variables have drastic frequency differences across large values. To achieve those aims, we first introduce the information loss and classification loss to the conditional GAN. Secondly, we design a novel conditional vector, which efficiently encodes the mixed data type and skewed distribution of data variable. We extensively evaluate CTAB-GAN with the state of the art GANs that generate synthetic tables, in terms of data similarity and analysis utility. The results on five datasets show that the synthetic data of CTAB-GAN remarkably resembles the real data for all three types of variables and results into higher accuracy for five machine learning algorithms, by up to 17%.

研究动机与目标

• 在 GDPR 下将合成表格数据作为一种隐私保护替代方案进行论证。
• 开发基于GAN的生成器，能够建模混合的连续/分类变量以及缺失值。
• 通过新颖的编码和训练策略解决长尾和高度不平衡的分布。
• 结合分类器与信息损失以提升语义完整性和训练稳定性。
• 在多个数据集上与最先进的表格生成器进行对比评估，覆盖 ML 实用性、统计相似性和隐私近似性。

提出的方法

• 引入 CTAB-GAN，一种具备生成器、判别器和辅助分类器的条件表格GAN。
• 使用混合类型编码器，将混合的分类-连续变量和缺失值表示为拼接的基于众数的编码。
• 引入信息损失，使实数据和合成数据的一阶和二阶统计量对齐。
• 通过辅助分类器添加分类损失，以在生成记录中强制语义一致性。
• 对条件向量采用对数频率采样，以减轻不平衡变量的模式崩塌。
• 对长尾连续变量进行对数变换预处理，以在变分高斯混合模型中改善模态学习。

实验结果

研究问题

• RQ1 CTAB-GAN 是否能够准确建模包含缺失值的混合类型表格数据（连续、分类和混合）？
• RQ2 与最先进的表格GAN相比，CTAB-GAN 是否通过合成数据提升了机器学习分析的实用性？
• RQ3 CTAB-GAN 在统计相似性（分布和相关性）方面与真实数据的保持程度如何？
• RQ4 相较同侪，CTAB-GAN 生成数据的隐私风险是什么？

主要发现

• CTAB-GAN 在五个数据集上的 ML 实用性指标（准确率、F1、AUC 的差异）上超过 CTGAN、TableGAN、CW-GAN 和 MedGAN。
• CTAB-GAN 在统计相似性方面整体优于竞争对手（较低的 JSD、较低的WD、相关性更接近）。
• CTAB-GAN 在隐私相关指标（基于距离）上优于 TableGAN 等，表明在保持效用的同时降低隐私风险。
• 消融研究表明分类器、信息损失和混合类型编码对各数据集的性能提升有贡献。