[论文解读] Diffusion Models for Time Series Applications: A Survey

Lequan Lin, Zhengkun Li+3 more|arXiv (Cornell University)|May 1, 2023

Complex Systems and Time Series Analysis被引用 9

一句话总结

一篇综述，总结基于扩散模型的时间序列预测、插值与生成，包括 DDPM、SGM 和 SDE，并与 TimeGrad、ScoreGrad 及相关方法相关联。

ABSTRACT

Diffusion models, a family of generative models based on deep learning, have become increasingly prominent in cutting-edge machine learning research. With a distinguished performance in generating samples that resemble the observed data, diffusion models are widely used in image, video, and text synthesis nowadays. In recent years, the concept of diffusion has been extended to time series applications, and many powerful models have been developed. Considering the deficiency of a methodical summary and discourse on these models, we provide this survey as an elementary resource for new researchers in this area and also an inspiration to motivate future research. For better understanding, we include an introduction about the basics of diffusion models. Except for this, we primarily focus on diffusion-based methods for time series forecasting, imputation, and generation, and present them respectively in three individual sections. We also compare different methods for the same application and highlight their connections if applicable. Lastly, we conclude the common limitation of diffusion-based methods and highlight potential future research directions.

研究动机与目标

• 通过对时间序列的扩散模型方法进行系统性综述，为新研究者提供全面概述。
• 解释核心扩散公式（DDPM、SGM、SDE）以及它们如何被用于时间序列任务的改编。
• 按应用类别进行分类：预测、插值、生成，并讨论时空扩展。

提出的方法

• 解释前向扩散过程和反向扩散过程，以及神经网络如何建模反向转移。
• 从 DDPM、SGM 和 SDE 的视角出发，给出关键方程及简化（如高斯噪声、分数匹配）。
• 描述 TimeGrad 与 ScoreGrad 如何通过对历史进行条件化来将扩散方法应用于多变量时间序列预测。
• 讨论 D3VAE 的耦合扩散与 BVAE 框架在嘈杂/数据有限情况下的鲁棒性与潜在因素的解耦。
• 介绍 DSPD 与 CSPD 作为连续过程扩散变体，用于具有连续噪声过程的时间序列。

实验结果

研究问题

• RQ1 对时间序列适用的主要扩散模型公式有哪些（DDPM、SGM、SDE），它们在概念上和计算上有何不同？
• RQ2 扩散模型如何改编用于时间序列的预测、插值和生成，包括对历史和协变量的条件化？
• RQ3 在问题表述和目标方面，TimeGrad、ScoreGrad、D3VAE、DSPD、CSPD 等知名模型之间的联系与区别是什么？
• RQ4 在将扩散模型应用于时间序列任务时，会出现哪些局限性和未来研究方向？

主要发现

• 扩散模型框架可以通过前向噪声注入和学习的去噪反转来定制化用于时间序列，从而实现预测、插值和生成。
• DDPM、SGM 和 SDE 的表述在时间序列背景下实现统一，VP/VE SDE 等变体以及预测器-校正采样器引导采样。
• TimeGrad 和 ScoreGrad 展示了对历史上下文和协变量进行条件化以捕捉多变量序列的时序动态。
• D3VAE 引入耦合扩散以进行数据增强和潜在因素解耦，从而在有限/嘈杂数据下提高鲁棒性。
• DSPD 将 DDPM 推广到连续时间过程，使用高斯过程作为噪声函数，实现连续时间预测和高效的多点采样。
• CSPD 将 CSPD 扩展到连续随机过程，将连续扩散与时间序列扩散相结合。]
• 综述指出常见的局限性并勾勒出扩散式时间序列方法的潜在未来研究方向。