[论文解读] A Comprehensive Survey on Generative Diffusion Models for Structured Data

Heejoon Koo, Kim, To Eun|arXiv (Cornell University)|Jun 7, 2023

Music and Audio Processing被引用 7

一句话总结

本综述首次全面概述了用于结构化数据的生成扩散模型，涵盖表格数据和时间序列数据。它详细阐述了基于分数的扩散模型理论，回顾了数据驱动任务和特定领域应用中的关键技术方法，识别出数据偏差和推理速度等挑战，并提出了未来研究方向，包括因果学习、多模态融合以及对混合数据类型的改进建模。

ABSTRACT

In recent years, generative diffusion models have achieved a rapid paradigm shift in deep generative models by showing groundbreaking performance across various applications. Meanwhile, structured data, encompassing tabular and time series data, has been received comparatively limited attention from the deep learning research community, despite its omnipresence and extensive applications. Thus, there is still a lack of literature and its reviews on structured data modelling via diffusion models, compared to other data modalities such as visual and textual data. To address this gap, we present a comprehensive review of recently proposed diffusion models in the field of structured data. First, this survey provides a concise overview of the score-based diffusion model theory, subsequently proceeding to the technical descriptions of the majority of pioneering works that used structured data in both data-driven general tasks and domain-specific applications. Thereafter, we analyse and discuss the limitations and challenges shown in existing works and suggest potential research directions. We hope this review serves as a catalyst for the research community, promoting developments in generative diffusion models for structured data.

研究动机与目标

• 为解决当前关于结构化数据扩散模型的文献缺乏，尤其是与视觉和自然语言处理领域相比的不足。
• 系统性地回顾基于分数的扩散模型在表格数据和时间序列数据上的应用。
• 将现有工作分类为数据驱动的通用任务和医疗、金融等特定领域应用。
• 识别当前方法中的关键挑战，包括数据偏差、长推理时间以及架构限制。
• 提出未来研究方向，如因果学习、反事实推理以及结构化数据的多模态融合。

提出的方法

• 调研并分类60余篇近期关于结构化数据扩散模型的研究工作，按数据驱动任务和特定领域应用分组。
• 提供基于分数的扩散模型的简明理论基础，包括前向和反向过程，以及去噪分数匹配。
• 分析架构设计，如适用于表格和时间序列数据的基于Transformer的模型、图神经网络（GNNs）和归一化流（normalizing flows）。
• 评估训练策略，包括噪声调度、掩码机制和针对结构化数据定制的去噪目标。
• 在电子健康记录（EHR）和生物信号建模中整合领域特定约束，如医学本体论和不规则时间间隔。
• 提出一个统一框架，用于表格数据和时间序列数据的生成、填补缺失值和预测。

实验结果

研究问题

• RQ1 面对混合数据类型和小样本数据集等独特挑战，如何有效将基于分数的扩散模型适配于结构化数据？
• RQ2 哪些关键的架构和训练创新使扩散模型在表格数据和时间序列数据生成中达到最先进性能？
• RQ3 当前用于结构化数据的扩散模型如何处理数据偏差，特别是在医疗等敏感领域？
• RQ4 因果学习和反事实推理在提升基于扩散模型的结构化数据生成模型的可靠性与可解释性方面发挥什么作用？
• RQ5 在结构化数据与其他模态结合的多模态学习中，最具有前景的扩展方向是什么？

主要发现

• 扩散模型在结构化数据生成中表现强劲，尤其在数据填补和数据合成方面，其样本质量和多样性优于传统生成对抗网络（GANs）和变分自编码器（VAEs）。
• 如CDDRec和T2I-VAE等模型通过结合重建损失与对比学习的混合损失函数，显著提升了鲁棒性和判别能力。
• 尽管已取得进展，推理速度仍是主要瓶颈——远慢于基于GAN的方法——限制了其在医疗和工业应用中的实时部署。
• 公开可用的结构化数据集，特别是在医疗领域，存在人口统计偏差，对模型泛化能力和公平性产生负面影响。
• 当前方法常直接复用视觉或自然语言处理领域的架构，而缺乏充分适配，表明亟需面向特定领域的架构创新。
• 未来工作应聚焦于整合因果推理、多模态学习，以及构建统一框架，以实现表格数据和时间序列数据在生成、填补缺失值和预测方面的通用化。