[论文解读] A Mamba Foundation Model for Time Series Forecasting

Haoyu Ma, Yushu Chen+8 more|arXiv (Cornell University)|Nov 5, 2024

Forecasting Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

TSMamba 是一种基于 Mamba 架构的线性复杂度时间序列预测基础模型，采用双前向和后向 Mamba 编码器以捕捉长程时间依赖关系。通过采用两阶段迁移学习流程和通道压缩注意力模块进行跨通道建模，该模型在显著减少训练数据量的情况下，实现了最先进的零样本和全样本性能。

ABSTRACT

Time series foundation models have demonstrated strong performance in zero-shot learning, making them well-suited for predicting rapidly evolving patterns in real-world applications where relevant training data are scarce. However, most of these models rely on the Transformer architecture, which incurs quadratic complexity as input length increases. To address this, we introduce TSMamba, a linear-complexity foundation model for time series forecasting built on the Mamba architecture. The model captures temporal dependencies through both forward and backward Mamba encoders, achieving high prediction accuracy. To reduce reliance on large datasets and lower training costs, TSMamba employs a two-stage transfer learning process that leverages pretrained Mamba LLMs, allowing effective time series modeling with a moderate training set. In the first stage, the forward and backward backbones are optimized via patch-wise autoregressive prediction; in the second stage, the model trains a prediction head and refines other components for long-term forecasting. While the backbone assumes channel independence to manage varying channel numbers across datasets, a channel-wise compressed attention module is introduced to capture cross-channel dependencies during fine-tuning on specific multivariate datasets. Experiments show that TSMamba's zero-shot performance is comparable to state-of-the-art time series foundation models, despite using significantly less training data. It also achieves competitive or superior full-shot performance compared to task-specific prediction models. The code will be made publicly available.

研究动机与目标

• 解决专用时间序列模型在跨领域泛化以及在数据稀缺情况下适应新兴模式的局限性。
• 通过采用 Mamba 架构，克服基于 Transformer 的模型在长序列预测中的二次方复杂度问题。
• 通过迁移学习利用预训练的 Mamba 语言模型，降低时间序列基础模型的数据和计算成本。
• 通过在微调过程中引入压缩的跨通道注意力模块，实现有效的多变量时间序列预测。
• 在极少微调数据下，展示与最先进模型相当或更优的强零样本和全样本性能。

提出的方法

• 采用双 Mamba 编码器（前向和后向）以线性复杂度建模时间序列中的长程时间依赖关系。
• 采用两阶段迁移学习策略：首先通过补丁级自回归预测预训练 Mamba 主干网络，然后微调预测头及其他组件。
• 利用预训练的 Mamba 大语言模型初始化时间序列基础模型，降低对大规模时间序列数据集的依赖。
• 在主干网络中独立处理每个通道，以支持不同数据集中通道数量的变化，同时在微调过程中引入压缩的跨通道注意力模块以建模通道间关系。
• 采用两阶段训练流程：第一阶段在掩码补丁预测上优化 Mamba 编码器；第二阶段微调预测头并优化编码器特征以实现长期预测。
• 采用通道无关的 Mamba 主干网络以实现跨具有不同通道数数据集的可扩展性和适应性，同时仅在特定任务微调期间启用跨通道建模。

实验结果

研究问题

• RQ1 基于 Mamba 的基础模型是否能在极少训练数据下，于多样化的时间序列数据集上实现具有竞争力的零样本预测性能？
• RQ2 利用预训练 Mamba 大语言模型的两阶段迁移学习方法，在时间序列预测中如何提升数据效率？
• RQ3 线性复杂度的 Mamba 架构在长时程时间序列预测中，能在多大程度上超越二次方复杂度的 Transformer 模型？
• RQ4 所提出的压缩跨通道注意力模块在多变量时间序列微调过程中，捕捉通道间依赖关系的效率如何？
• RQ5 在多样化数据上训练的基础模型是否能无需大量微调即可有效泛化到未见的时间序列任务和领域？

主要发现

• TSMamba 在 ETTm2、Weather 和 ILI 等基准数据集上实现了最先进的零样本性能，尽管训练数据量显著减少，仍优于现有基础模型。
• 在全样本设置下，TSMamba 在多个预测时域上相较 GPT4TS（Zhou et al., 2023）——一种基于 GPT2 的基础模型——实现了平均 15% 的性能提升。
• TSMamba 在所有评估数据集和预测时域上均优于最先进任务特定模型 PatchTST（Nie et al., 2023）。
• 该模型在多种数据类型上保持强大性能，包括单变量和多变量时间序列，且频率和通道数各不相同。
• 两阶段迁移学习流程有效实现了从 Mamba 大语言模型的知识迁移，显著减少了对大规模时间序列预训练的需求。
• 压缩的跨通道注意力模块在微调过程中有效捕捉了通道间依赖关系，提升了多变量数据集上的性能，且未增加主干网络的复杂度。