[论文解读] Causal-TGAN: Generating Tabular Data Using Causal Generative Adversarial Networks

Bingyang Wen, Luis Oliveros Colon+2 more|arXiv (Cornell University)|Apr 21, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用 7

一句话总结

Causal-TGAN 是一种新颖的生成对抗网络，利用因果结构——特别是结构因果模型（SCM）——生成表格型合成数据，在已知真实因果图时，其在分布保真度和机器学习有效性方面优于基于相关性的 GAN。在模拟数据上，其对数似然平均提升达 29%，即使在使用估计的因果结构时仍保持良好性能。

ABSTRACT

Synthetic data generation becomes prevalent as a solution to privacy leakage and data shortage. Generative models are designed to generate a realistic synthetic dataset, which can precisely express the data distribution for the real dataset. The generative adversarial networks (GAN), which gain great success in the computer vision fields, are doubtlessly used for synthetic data generation. Though there are prior works that have demonstrated great progress, most of them learn the correlations in the data distributions rather than the true processes in which the datasets are naturally generated. Correlation is not reliable for it is a statistical technique that only tells linear dependencies and is easily affected by the dataset's bias. Causality, which encodes all underlying factors of how the real data be naturally generated, is more reliable than correlation. In this work, we propose a causal model named Causal Tabular Generative Neural Network (Causal-TGAN) to generate synthetic tabular data using the tabular data's causal information. Extensive experiments on both simulated datasets and real datasets demonstrate the better performance of our method when given the true causal graph and a comparable performance when using the estimated causal graph.

研究动机与目标

• 解决现有 GAN 在表格数据生成中依赖统计相关性而非真实因果机制的局限性。
• 通过建模生成真实表格数据的潜在因果过程，提升合成数据质量。
• 开发一种即使在真实因果图未知时也能保持强性能的方法，利用从数据中估计的因果结构。
• 在真实和模拟数据集上，使用分布相似性和机器学习有效性指标对模型进行评估。

提出的方法

• Causal-TGAN 采用对抗训练来学习结构因果模型（SCM）中的因果机制，其中每个变量基于其直接原因和外生噪声生成。
• 该模型使用因果图（DAG）定义因果结构，每个内生变量 Xj 生成为 Xj = Fj(父母(Xj), Uj)，其中 Uj 为外生噪声。
• 它整合了高斯混合模型（GMM）以编码连续变量，以及独热编码以处理离散变量，从而支持多模态和分类数据的生成。
• 生成器通过对抗训练方式，与能够区分真实数据与合成数据的判别器进行对抗，且生成器以因果图为条件。
• 该方法支持多种变量类型，包括连续型、分类型和有序型，扩展了以往仅限于二值或连续变量的因果 GAN。
• 当真实因果图不可用时，Causal-TGAN 使用从数据中估计的因果结构，仍在基准测试中保持强劲性能。

实验结果

研究问题

• RQ1 建模表格数据的真实因果结构是否能带来优于依赖统计相关性的合成数据生成效果？
• RQ2 当提供真实因果图时，Causal-TGAN 与最先进 GAN 的表现相比如何？
• RQ3 使用估计的因果图而非真实因果图时，Causal-TGAN 的性能如何？
• RQ4 Causal-TGAN 是否能像现有模型一样有效保持分布相似性并支持下游机器学习任务？
• RQ5 基于因果性的生成方法是否能同时提升真实世界表格型数据集的数据保真度和实用性？

主要发现

• 在使用真实因果图时，Causal-TGAN 在模拟数据上实现了最高的对数似然（平均为 -9.87），优于所有基线模型，包括 CTGAN 和 TableGAN。
• 在真实因果图条件下，Causal-TGAN 在模拟数据集上的平均对数似然相比其他 GAN 模型提升了 29%。
• 在真实数据集上，Causal-TGAN 在平均列相似性（KS 和 CS 检验）上位列第二，与 CTGAN 并列第一。
• 在机器学习有效性方面，Causal-TGAN 在 adult 和 news 数据集上表现第二，且在 census 数据集上排名靠前，回归任务中的平均 R² 为 -0.53。
• 即使使用估计的因果图，Causal-TGAN 仍保持具有竞争力的性能，展现出在真实世界场景中（真实因果结构通常未知）的鲁棒性。
• 该模型表现出强大的泛化能力，在多种表格型数据类型上均实现了高分布相似性与高效的下游任务性能。