[论文解读] Diffusion-TS: Interpretable Diffusion for General Time Series Generation
Diffusion-TS 引入了一种可解释的、基于 Transformer 的扩散模型,用于高质量的多变量时间序列生成,具备傅立叶基损失和分解驱动的架构;它支持无条件和有条件生成(例如预测和插补),并具有竞争力的性能。
Denoising diffusion probabilistic models (DDPMs) are becoming the leading paradigm for generative models. It has recently shown breakthroughs in audio synthesis, time series imputation and forecasting. In this paper, we propose Diffusion-TS, a novel diffusion-based framework that generates multivariate time series samples of high quality by using an encoder-decoder transformer with disentangled temporal representations, in which the decomposition technique guides Diffusion-TS to capture the semantic meaning of time series while transformers mine detailed sequential information from the noisy model input. Different from existing diffusion-based approaches, we train the model to directly reconstruct the sample instead of the noise in each diffusion step, combining a Fourier-based loss term. Diffusion-TS is expected to generate time series satisfying both interpretablity and realness. In addition, it is shown that the proposed Diffusion-TS can be easily extended to conditional generation tasks, such as forecasting and imputation, without any model changes. This also motivates us to further explore the performance of Diffusion-TS under irregular settings. Finally, through qualitative and quantitative experiments, results show that Diffusion-TS achieves the state-of-the-art results on various realistic analyses of time series.
研究动机与目标
- 在具有多变量和长期动态的领域,激发对高质量、可解释的时间序列生成的需求。
- 提出一个扩散基框架,在 Transformer 架构中嵌入一个解耦的季节性-趋势分解。
- 通过训练模型直接重构信号(而不仅仅是噪声)并结合傅立叶基损失来提高重构质量。
- 在不改变模型的情况下,实现对条件生成任务(如预测与插补)的无缝扩展。
- 在多样的真实世界和仿真时间序列数据集上展示最先进的性能,同时提供可解释的组成部分。
提出的方法
- 以编码-解码 Transformer 作为骨干网络,使用去噪扩散概率模型(DDPM)。
- 在解码器内强加趋势、季节性和误差的解耦表示,以捕捉语义时间属性。
- 采用基于傅立叶的损失,使模型直接重构 x0 而非预测噪声。
- 引入一个傅立叶合成层,通过从傅立叶基中选择的最高频分量来建模季节性。
- 除了时域损失外,还加入频域损失项以提高重构精度。
- 通过基于重构的采样和使用目标指标或分类器的梯度引导采样,扩展到条件生成。
实验结果
研究问题
- RQ1具有可解释时间分解的扩散式生成器是否能够产生高质量、多样化的多变量时间序列?
- RQ2将趋势、季节性和残差成分解耦是否在不牺牲生成质量的前提下提高了可解释性?
- RQ3基于傅立叶的重构目标如何影响生成时间序列的保真度?
- RQ4在不改变架构的前提下,模型是否可以有效扩展到如预测和插补等条件任务?
- RQ5与现有扩散方法相比,Diffusion-TS 在长序列和不规则设置下的表现如何?
主要发现
- Diffusion-TS 在多个真实世界和仿真数据集上,在包括 Context-FID 在内的多项指标上实现了最先进的结果,以及判别/预测分数。
- 该模型在长序列上展示出强鲁棒性,随着序列长度增加,性能稳步变化。
- 对趋势和季节性/误差成分的可解释分解在几乎不损失精度的情况下提供了可解释性。
- 通过基于重构的引导进行有条件生成,在插补和预测方面优于基线,特别是在较高缺失率下。
- 消融研究显示,FFT-based 损失、Transformer 骨干以及可解释分解各自对性能有贡献;移除它们将导致结果下降。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。