[论文解读] Domain Fusion Controllable Generalization for Cross-Domain Time Series Forecasting from Multi-Domain Integrated Distribution

Xiangkai Ma, Xiaobin Hong+4 more|arXiv (Cornell University)|Dec 4, 2024

Complex Systems and Time Series AnalysisEconomics, Econometrics and Finance被引用 3

一句话总结

该论文提出UTSD，一种统一的时间序列扩散模型，通过扩散去噪过程直接建模跨多个领域的融合概率分布，实现零样本跨领域泛化。通过利用多尺度上下文表征、基于适配器的微调以及无分类器指导，UTSD在多样化的时间序列基准上实现了最先进性能，展现出卓越的稳定性、准确性和泛化能力，且无需领域特定的微调。

ABSTRACT

Conventional deep models have achieved unprecedented success in time series forecasting. However, facing the challenge of cross-domain generalization, existing studies utilize statistical prior as prompt engineering fails under the huge distribution shift among various domains. In this paper, a novel time series generalization diffusion model (TimeControl) that pioneers the Domain-Fusion paradigm, systematically integrating information from multiple time series domains into a unified generative process via diffusion models. Unlike the autoregressive models that capture the conditional probabilities of the prediction horizon to the historical sequence, we use the diffusion denoising process to model the mixed distribution of the cross-domain data and generate the prediction sequence for the target domain directly utilizing conditional sampling. The proposed TimeControl contains three pivotal designs: (1) The condition network captures the multi-scale fluctuation patterns from the observation sequence, which are utilized as context representations to guide the denoising network to generate the prediction sequence; (2) Adapter-based fine-tuning strategy, the multi-domain universal representation learned in the pretraining stage is utilized for downstream tasks in target domains; (3) A novel hybrid architecture is designed to align the observation and prediction spaces, enabling TimeControl to generate prediction sequences of arbitrary lengths with flexibility. We conduct extensive experiments on mainstream 49 benchmarks and 30 baselines, and the TimeControl outperforms existing baselines on all data domains, exhibiting superior zero-shot generalization ability.

研究动机与目标

• 为解决不同数据领域之间存在大规模分布偏移时的跨领域时间序列预测挑战。
• 开发一种统一的基础模型，能够在未见的时间序列领域中实现零样本泛化。
• 克服自回归模型在长序列预测中的局限性以及领域特定模型在泛化能力上的不足。
• 利用扩散模型在概率分布建模方面的优势，直接从多领域数据中生成多样化、高质量的预测结果。
• 通过改进的无分类器指导和多尺度上下文编码，实现在条件采样中的稳定与高精度。

提出的方法

• UTSD采用扩散去噪过程，直接在序列空间中建模跨领域时间序列数据的混合分布，绕过自回归预测。
• 条件网络从输入序列中捕捉多尺度波动模式，作为指导去噪过程的上下文表征。
• 采用基于适配器的微调策略，实现对预训练通用表征的高效微调，无需全量微调即可适配下游目标领域。
• 在条件采样过程中增强并应用无分类器指导，以提升生成的稳定性和准确性。
• 模型在多领域数据上端到端训练，学习共享表征，实现对具有不同统计特性的领域的泛化。
• 直接在实际序列空间上执行条件采样，实现高保真度、多样化且可靠的时序生成。

实验结果

研究问题

• RQ1 统一的扩散模型能否有效捕捉并从多领域时间序列数据的融合概率分布中生成？
• RQ2 与领域特定或自回归模型相比，UTSD在零样本跨领域预测中的表现如何？
• RQ3 多尺度上下文表征在多样化领域中的泛化能力和预测准确性方面，提升程度如何？
• RQ4 所提出的基于扩散的方法是否能缓解自回归模型和标准扩散模型在时间序列中常见的误差累积与振铃问题？
• RQ5 基于适配器的微调能否在保持高性能的同时，实现对新目标领域的高效适应？

主要发现

• 在所有测试数据领域中，UTSD在零样本泛化方面均优于现有基础模型，展现出卓越的跨领域鲁棒性。
• 从零开始训练后，UTSD的性能可与领域特定的专有模型相媲美，表明其具备强大的泛化能力。
• 模型展现出稳定可靠的时序生成能力，dithering现象极少，经t-SNE对50次重复采样的可视化验证。
• 在长序列多周期时间序列（如ETT、ECL、Traffic中的720个时间步）上，UTSD达到最先进性能，证实其具备捕捉长期依赖关系的能力。
• 在短序列非周期性时间序列（如96个时间步）上，UTSD仍保持高质量预测，展现出在多样化时间模式下的强大性能。
• 可视化结果表明，预测的置信区间（10–90% 和 25–75%）紧密包裹真实值，表明不确定性估计准确。