[论文解读] TransFusion: Generating Long, High Fidelity Time Series using Diffusion Models with Transformers

Md Fahim Sikder, Resmi Ramachandranpillai+1 more|arXiv (Cornell University)|Jul 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

TransFusion 将扩散模型与 Transformer 编码器结合，用于生成长序列的高保真时间序列（长度可达 384），解决 GAN 的局限性和长程依赖捕获问题。

ABSTRACT

The generation of high-quality, long-sequenced time-series data is essential due to its wide range of applications. In the past, standalone Recurrent and Convolutional Neural Network-based Generative Adversarial Networks (GAN) were used to synthesize time-series data. However, they are inadequate for generating long sequences of time-series data due to limitations in the architecture. Furthermore, GANs are well known for their training instability and mode collapse problem. To address this, we propose TransFusion, a diffusion, and transformers-based generative model to generate high-quality long-sequence time-series data. We have stretched the sequence length to 384, and generated high-quality synthetic data. Also, we introduce two evaluation metrics to evaluate the quality of the synthetic data as well as its predictive characteristics. We evaluate TransFusion with a wide variety of visual and empirical metrics, and TransFusion outperforms the previous state-of-the-art by a significant margin.

研究动机与目标

• 为高维、长序列数据的合成时间序列生成提供动机与广泛应用场景（如 EHR、轨迹、能源等）。
• 开发能够在不发生模式崩溃的情况下，生成高保真且覆盖多样性的长序列的生成模型。
• 提出针对长序列和预测特征的评估指标。
• 证明扩散模型结合 Transformer 能带来优于现有方法的质量提升。

提出的方法

• 在时间序列数据上使用去噪扩散概率模型（DDPM）框架。
• 在向后扩散过程中，使用 Transformer 编码器来近似数据分布。
• 在前向扩散中应用余弦方差调度器，在 Transformer 路径中采用线性投影并带位置编码。
• 以简单的 DDPM 目标进行训练：L_simple = E_{t,x0,ε}[||ε − ε_θ(x_t,t)||^2].
• 提供两种基于 Transformer 的评估指标：事后判别器样的保真度得分（LDS）和长序列预测得分（LPS）。
• 通过消融实验对比扩散仅有与 Transformer 仅有的变体，展示两者结合的必要性。

实验结果

研究问题

• RQ1 扩散模型是否能够生成高质量、超出先前序列长度限制的长序列时间序列数据？
• RQ2 在扩散向后过程中整合 Transformer 编码器是否能提升长程依赖捕获与保真度？
• RQ3 新的基于 Transformer 的评估指标是否能够比先前的 CNN/RNN 基准在评估长序列合成数据的保真度与预测特征方面表现更好？

主要发现

• TransFusion 生成可达到 384 长度的长序列时间序列，具有高保真度，在多个数据集上优于先前的最先进方法。
• 扩散模型与 Transformer 的结合被证明对实现高质量、长序列数据是必要的（通过消融结果证实）。
• 两种基于 Transformer 的指标（Long-Sequence Discriminative Score 和 Long-Sequence Predictive Score）能够有效评估合成数据的保真度和预测特征。
• TransFusion 在视觉评估（PCA/t-SNE）和经验评估包括预测任务方面表现出色，优于 GT-GAN、CotGAN、TimeGAN 等方法。
• 训练效率方面：在报道的设置中，TransFusion 以显著更少的训练时间实现了强结果（5 小时 vs. GT-GAN 约 28 小时）。
• 该方法对更长的序列长度和高维数据具有鲁棒性，能够解决模式崩溃和长程依赖挑战。