[论文解读] UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

Xu Liu, Junfeng Hu+5 more|arXiv (Cornell University)|Oct 15, 2023

Stock Market Forecasting Methods被引用 6

一句话总结

UniTime 提出了一种统一的、以语言为驱动的 Transformer 模型，用于跨领域的多变量时间序列预测，通过领域指令、Language-TS Transformer 和自适应掩码机制，克服了领域特定数据特征、领域混淆以及收敛速度不平衡的问题。该模型在能源、气象和经济等多样化领域中实现了最先进性能和强大的零样本泛化能力。

ABSTRACT

Multivariate time series forecasting plays a pivotal role in contemporary web technologies. In contrast to conventional methods that involve creating dedicated models for specific time series application domains, this research advocates for a unified model paradigm that transcends domain boundaries. However, learning an effective cross-domain model presents the following challenges. First, various domains exhibit disparities in data characteristics, e.g., the number of variables, posing hurdles for existing models that impose inflexible constraints on these factors. Second, the model may encounter difficulties in distinguishing data from various domains, leading to suboptimal performance in our assessments. Third, the diverse convergence rates of time series domains can also result in compromised empirical performance. To address these issues, we propose UniTime for effective cross-domain time series learning. Concretely, UniTime can flexibly adapt to data with varying characteristics. It also uses domain instructions and a Language-TS Transformer to offer identification information and align two modalities. In addition, UniTime employs masking to alleviate domain convergence speed imbalance issues. Our extensive experiments demonstrate the effectiveness of UniTime in advancing state-of-the-art forecasting performance and zero-shot transferability.

研究动机与目标

• 开发一种统一的时间序列预测模型，能够在无需为每个领域单独构建模型的情况下，泛化应用于多样化应用领域。
• 解决不同领域间数据特征差异（例如变量数量、序列长度）的挑战。
• 通过使用自然语言指令，使模型能够区分不同时间序列分布，从而缓解领域混淆问题。
• 通过一种掩码策略，稳定不同动态特性的领域之间的训练过程，缓解领域收敛速度不平衡问题。
• 通过基于指令的泛化能力，实现在未见领域上的有效零样本迁移学习。

提出的方法

• UniTime 采用 Language-TS Transformer，联合编码时间序列标记和自然语言领域指令，以对齐模态表征。
• 使用特定于领域的指令作为输入上下文，引导模型区分不同时间序列领域，并改善特征对齐。
• 在训练过程中应用掩码策略，以稳定具有不同时间动态和学习速度的领域之间的收敛过程。
• 利用预训练的 GPT-2 权重作为语言编码器，为指令理解提供强大的归纳偏置。
• 在推理阶段使用指令选择协议，基于在小部分测试样本上的表现，从训练数据中选择最合适的指令。
• 该架构支持灵活的输入维度，可适应具有不同通道数和序列长度的时间序列。

Figure 1. (a) Specialized models are separately trained on time series domains with notable distribution differences. For instance, weather time series constantly fluctuate due to the chaotic influence of natural factors, while economic data, such as exchange rates, tends to remain relatively stable

实验结果

研究问题

• RQ1 统一的时间序列预测模型是否能有效泛化于具有不同数据特征的多样化领域？
• RQ2 在跨领域时间序列预测中，引入自然语言指令在多大程度上能提升模型性能和领域区分能力？
• RQ3 掩码机制在多大程度上能平衡具有不同时间动态特性的领域之间的收敛速度？
• RQ4 统一模型是否能在未见领域上实现强大的零样本迁移性能，而无需微调？
• RQ5 对预训练语言模型采用不同的微调策略，对整体预测性能有何影响？

主要发现

• UniTime 在多个数据集（包括 Electricity、ETTh1、ETTh2 和 Weather）上持续优于强基线模型，展示了在跨领域预测中的最先进性能。
• 模型实现了卓越的零样本泛化能力，指令选择协议成功识别出适用于未见数据集（如 Electricity 和 Weather）的最佳指令（来自 ETTh1）。
• 即使冻结整个预训练语言模型，仍能取得强劲性能，表明 PLM 的自注意力机制本身已能捕捉对时间序列标记有用的有效表征。
• 微调整个语言模型获得最佳结果，其次是 FPT（仅冻结位置嵌入和归一化层参数）策略，该策略在性能与效率之间提供了良好平衡。
• 当输入顺序被反转（即时间序列在前，指令在后）时，模型性能显著下降，证实了从指令到时间序列标记的注意力流至关重要。
• 使用预训练语言模型权重相比随机初始化能显著提升性能，凸显了在大规模文本语料上预训练的价值。

Figure 2. UniTime overview from the perspective of a univariate time series.