[论文解读] Mixed-Type Tabular Data Synthesis with Score-based Diffusion in Latent Space

Hengrui Zhang, Jiani Zhang+6 more|arXiv (Cornell University)|Oct 14, 2023

Cancer-related molecular mechanisms research被引用 23

一句话总结

TabSyn 在学得的潜在空间中提出一个扩散模型（通过带有 Transformer 的 VAE 和自适应损失）用于合成混合类型的表格数据，相较于现有方法实现更快的采样和更高的数据质量。

ABSTRACT

Recent advances in tabular data generation have greatly enhanced synthetic data quality. However, extending diffusion models to tabular data is challenging due to the intricately varied distributions and a blend of data types of tabular data. This paper introduces Tabsyn, a methodology that synthesizes tabular data by leveraging a diffusion model within a variational autoencoder (VAE) crafted latent space. The key advantages of the proposed Tabsyn include (1) Generality: the ability to handle a broad spectrum of data types by converting them into a single unified space and explicitly capture inter-column relations; (2) Quality: optimizing the distribution of latent embeddings to enhance the subsequent training of diffusion models, which helps generate high-quality synthetic data, (3) Speed: much fewer number of reverse steps and faster synthesis speed than existing diffusion-based methods. Extensive experiments on six datasets with five metrics demonstrate that Tabsyn outperforms existing methods. Specifically, it reduces the error rates by 86% and 67% for column-wise distribution and pair-wise column correlation estimations compared with the most competitive baselines.

研究动机与目标

• 推动具有复杂列间关系的混合类型表格数据的改进生成建模。
• 开发一个统一的潜在空间，在其中数值特征和类别特征可以共同建模。
• 相对于现有基于扩散的表格数据方法，提升样本质量与生成速度。
• 在多数据集和多种评估指标（包括低阶和高阶统计量以及下游任务）上展示鲁棒性。

提出的方法

• 通过逐列分词器和 Transformer 编碼器将原始表格数据转换为连续嵌入空间。
• 使用带自适应损失权重的变分自编码器来学习信息丰富、平滑的潜在嵌入。
• 在潜在空间中训练基于分数的扩散模型，使用去噪分数匹配和线性噪声时间表（sigma(t)=t）。
• 应用去标记器从潜在表征中重建原始列值以进行数据生成。
• 提供理论依据和实证证据表明线性噪声时间表能降低反向过程误差并加速采样（少于 20 个 NFEs）。
• 在六个混合类型数据集上，针对七个基线方法评估 TabSyn，使用逐列密度、成对相关、最大似然估计和缺失值插补等任务。

Figure 1: TabSyn wins: Our TabSyn method consistently outperforms SOTA tabular data generation methods across five data quality metrics.

实验结果

研究问题

• RQ1 扩散模型能否在从混合类型表格数据学习的潜在空间中有效运行？
• RQ2 面向列的分词器和基于 Transformer 的 VAE 是否能比现有方法更好地保留列间关系？
• RQ3 线性噪声时间表是否能实现快速且高质量的基于扩散的表格数据合成？
• RQ4 TabSyn 在低阶（密度、相关性）和高阶（精确度/召回率）指标以及下游任务上的表现如何？
• RQ5 自适应 beta-VAE 训练对潜在空间正则化和重建质量是否有帮助？

主要发现

• TabSyn 在逐列密度估计和列间相关性方面持续优于基线方法，分别将误差平均降低 86.0% 和 67.6%。
• TabSyn 在六个数据集上在机器学习效率（分类/回归）和缺失值插补性能方面表现卓越。
• 线性扩散噪声时间表（sigma(t)=t）使得在少于 20 次反向步骤的情况下即可生成高质量样本，加速采样。
• 潜在空间扩散（TabSyn-DDPM）通常优于在数据空间中的扩散，凸显了为表格数据学习潜在嵌入的好处。
• 一个带时间表的 beta-VAE 在不对潜在空间过度正则化的情况下改进重建，提升下游合成数据质量。

Figure 2: An overview of the proposed TabSyn . Each row data $x$ is mapped to latent space $z$ via a column-wise tokenizer and an encoder. A diffusion process $z_{0}\rightarrow z_{T}$ is applied in the latent space. Synthesis $z_{T}\rightarrow z_{0}$ starts from the base distribution $p(z_{T})$ and