[论文解读] DATGAN: Integrating expert knowledge into deep learning for synthetic tabular data

Gael Lederrey, Tim Hillel+1 more|arXiv (Cornell University)|Mar 7, 2022

Generative Adversarial Networks and Image Synthesis被引用 15

一句话总结

DATGAN 提出了一种新颖的 GAN 架构，通过有向无环图（DAG）整合专家定义的因果关系，以控制合成表格数据的生成。通过使用 DAG 转换的 LSTM 单元构建生成器，并结合统计与机器学习方法进行验证，DATGAN 在代表性与相关性保真度方面优于当前最先进模型，尤其在最优损失函数（类别主导型使用 WGAN，连续主导型使用 WGGP）和标签平滑技术下表现更优。

ABSTRACT

Synthetic data can be used in various applications, such as correcting bias datasets or replacing scarce original data for simulation purposes. Generative Adversarial Networks (GANs) are considered state-of-the-art for developing generative models. However, these deep learning models are data-driven, and it is, thus, difficult to control the generation process. It can, therefore, lead to the following issues: lack of representativity in the generated data, the introduction of bias, and the possibility of overfitting the sample's noise. This article presents the Directed Acyclic Tabular GAN (DATGAN) to address these limitations by integrating expert knowledge in deep learning models for synthetic tabular data generation. This approach allows the interactions between variables to be specified explicitly using a Directed Acyclic Graph (DAG). The DAG is then converted to a network of modified Long Short-Term Memory (LSTM) cells to accept multiple inputs. Multiple DATGAN versions are systematically tested on multiple assessment metrics. We show that the best versions of the DATGAN outperform state-of-the-art generative models on multiple case studies. Finally, we show how the DAG can create hypothetical synthetic datasets.

研究动机与目标

• 解决数据驱动 GAN 在生成合成表格数据时缺乏控制的问题。
• 通过将专家知识嵌入模型架构，提升代表性并减少偏差传播。
• 构建结合统计与机器学习指标的系统性评估框架，以衡量合成数据质量。
• 通过可控的因果结构实现假设性合成数据集的创建。
• 在合成表格数据生成任务中超越现有最先进生成模型。

提出的方法

• 生成器采用有向无环图（DAG）结构，编码变量之间的专家定义因果关系。
• DAG 被转换为一组改进的长短期记忆（LSTM）单元网络，每个单元基于 DAG 中其父变量生成一个变量。
• 采用混合方法对类别变量与连续变量进行编码，以保留其分布特性和结构属性。
• 系统评估多种损失函数（WGAN、WGGP）与训练策略（如双边标签平滑、基于模拟的采样）。
• 采用双重评估框架：统计检验（如柯尔莫哥洛夫-斯米尔诺夫检验、卡方检验）与基于下游机器学习模型的监督学习验证。
• 模型通过端到端对抗训练进行训练，判别器基于结构化生成器输出区分真实数据与合成数据。

实验结果

研究问题

• RQ1 通过 DAG 整合专家定义的因果关系，能否提升合成表格数据的代表性与相关性保真度？
• RQ2 不同损失函数（WGAN 与 WGGP）及训练技术（标签平滑、采样方法）如何影响 DATGAN 模型的性能？
• RQ3 DAG 的结构（完整 vs. 简化）在多大程度上影响生成合成数据集的质量？
• RQ4 DATGAN 是否能在多个案例研究中，同时在统计与机器学习评估指标下超越现有最先进生成模型？
• RQ5 如何通过修改 DAG 结构，利用 DATGAN 生成假设性合成数据集？

主要发现

• 在所有案例研究中，表现最佳的 DATGAN 变体在统计与机器学习评估指标下均优于所有现有最先进模型。
• 双边标签平滑与最终合成变量的基于模拟的采样方法在所有数据集上均取得最高性能。
• 对于以类别变量为主的数据集，WGAN 损失函数表现更优；对于连续变量主导的数据集，WGGP 损失函数为最优选择。
• 完整 DAG 结构在合成数据的相关性保持方面显著优于简化或剥离版本。
• 通过修改 DAG 以反映替代因果假设，DATGAN 可成功生成假设性合成数据集，支持情景分析。
• 该模型具备内在的差分隐私保护特性，因为生成器从未直接访问原始训练数据。