[论文解读] TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting

Md Atik Ahamed, Qiang Cheng|arXiv (Cornell University)|Mar 14, 2024

Time Series Analysis and Forecasting被引用 5

一句话总结

TimeMachine 采用四重 Mamba 状态空间架构，在多变量时间序列中以线性可扩展性和低内存消耗捕捉长期依赖，统一通道混合与通道独立处理，从而提升长期预测。

ABSTRACT

Long-term time-series forecasting remains challenging due to the difficulty in capturing long-term dependencies, achieving linear scalability, and maintaining computational efficiency. We introduce TimeMachine, an innovative model that leverages Mamba, a state-space model, to capture long-term dependencies in multivariate time series data while maintaining linear scalability and small memory footprints. TimeMachine exploits the unique properties of time series data to produce salient contextual cues at multi-scales and leverage an innovative integrated quadruple-Mamba architecture to unify the handling of channel-mixing and channel-independence situations, thus enabling effective selection of contents for prediction against global and local contexts at different scales. Experimentally, TimeMachine achieves superior performance in prediction accuracy, scalability, and memory efficiency, as extensively validated using benchmark datasets. Code availability: https://github.com/Atik-Ahamed/TimeMachine

研究动机与目标

• 在具备可扩展性和效率约束的前提下，推动多变量时间序列（LTSF）实现有效长期预测的需求。
• 提出一个完全基于状态空间模型（SSM）的架构，以捕捉远程依赖和上下文感知预测。
• 开发一个统一的框架，在多变量时间序列数据中同时处理通道混合与通道独立性。
• 利用多尺度上下文线索和下采样来增强长期依赖建模。

提出的方法

• 介绍 TimeMachine，基于四个 Mamba 状态空间模块，分为两个嵌入层（E1、E2），每层包含两个 Mamba 块。
• 在处理前通过 RevIN 或 Z-score 正则化对输入进行归一化。
• 通过相应地重塑输入并使用转置分支切换模式，支持通道混合和通道独立。
• 使用两阶段嵌入表示（E1、E2）为 Mamba 处理产生固定长度的标记，从而实现可扩展、尺度感知的上下文提取。
• 每个 Mamba 分支基于输入标记计算线性投影（B、C、Delta），随后进行一维因果卷积、SiLU 激活和结构化 SSM；分支输出通过加法和乘法交互合并，并通过带残差连接的两阶段输出投影 P1 和 P2 传递。
• 最终预测 y 由 P2 在将外部与内部 Mamba 输出连接并加入跳连接后产生。

实验结果

研究问题

• RQ1 仅基于状态空间模型（SSM）的架构是否能够以线性可扩展性和较小内存占用捕捉多变量时间序列的长程依赖？
• RQ2 在单一架构中如何统一通道混合和通道独立性，以在各种多变量时间序列数据集上最大化预测准确性？
• RQ3 与点标记或补丁标记策略相比，多尺度下采样的上下文线索是否能提升长期预测性能？
• RQ4 不同通道数的数据集上，架构选择（MLP 尺寸、dropout、残差）对性能和稳定性有何影响？

主要发现

• TimeMachine 在七个标准 LTSF 基准测试、跨越多个预测步长上，与强基线相比实现更优的预测性能。
• 该模型展示出良好的可扩展性和内存效率，在诸如 Traffic 和 Electricity 等大通道数据集上的内存占用与当下最先进方法相当甚至更优。
• TimeMachine 得益于多尺度上下文线索和通道感知处理，在使用通道混合时有效利用通道间相关性；在通道独立设置中利用局部上下文。
• 两阶段嵌入（E1、E2）和四重 Mamba 块实现了对长期依赖的鲁棒建模，参数量随数据线性增长。