[论文解读] Ada-MSHyper: Adaptive Multi-Scale Hypergraph Transformer for Time Series Forecasting

Zongjiang Shang, Ling Chen+2 more|arXiv (Cornell University)|Oct 31, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

Ada-MSHyper 提出了一种用于时间序列预测的自适应多尺度超图变换器，通过自适应超图结构和节点-超边约束机制，建模组间交互，解决了语义稀疏性和时间变化纠缠问题。该方法在11个真实世界数据集上的短程预测中，将MSE降低高达10.38%，达到最先进性能。

ABSTRACT

Although transformer-based methods have achieved great success in multi-scale temporal pattern interaction modeling, two key challenges limit their further development: (1) Individual time points contain less semantic information, and leveraging attention to model pair-wise interactions may cause the information utilization bottleneck. (2) Multiple inherent temporal variations (e.g., rising, falling, and fluctuating) entangled in temporal patterns. To this end, we propose Adaptive Multi-Scale Hypergraph Transformer (Ada-MSHyper) for time series forecasting. Specifically, an adaptive hypergraph learning module is designed to provide foundations for modeling group-wise interactions, then a multi-scale interaction module is introduced to promote more comprehensive pattern interactions at different scales. In addition, a node and hyperedge constraint mechanism is introduced to cluster nodes with similar semantic information and differentiate the temporal variations within each scales. Extensive experiments on 11 real-world datasets demonstrate that Ada-MSHyper achieves state-of-the-art performance, reducing prediction errors by an average of 4.56%, 10.38%, and 4.97% in MSE for long-range, short-range, and ultra-long-range time series forecasting, respectively. Code is available at https://github.com/shangzongjiang/Ada-MSHyper.

研究动机与目标

• 通过建模组间交互而非仅依赖成对注意力，解决时间序列中单个时间点语义信息稀疏的问题。
• 解决多种模式（如上升、下降、波动）在不同尺度上共存且重叠导致的时间变化纠缠问题。
• 通过引入可学习的自适应超图结构，使变换器能够有效捕捉多尺度时间模式。
• 通过语义和距离约束，区分各尺度内的不同时间变化，提升模型鲁棒性和表征能力。
• 在长程、短程和超长程时间序列预测中均实现最先进性能。

提出的方法

• 自适应超图学习（AHL）模块从多尺度特征表示中构建动态超图，实现跨不同时间尺度的隐式组间交互发现。
• 多尺度交互模块结合超图卷积与自注意力机制，聚合节点与超边的信息，增强多尺度下的模式表征。
• 节点与超边约束（NHC）机制通过语义相似性聚合同类含义的节点，通过距离相似性区分各尺度内不同的时间动态。
• NHC机制利用节点级约束将语义相似的时间点分组，利用超边级约束将不同动态模式（如趋势与波动）分离。
• 模型采用标准回归损失端到端训练，超图结构在训练过程中根据特征相似性动态更新。
• 该框架在11个真实世界时间序列数据集（包括电力、交通和气象数据）上进行评估，涵盖长程、短程和超长程预测设置。

实验结果

研究问题

• RQ1 自适应超图学习能否有效建模时间序列中的组间交互，从而降低成对注意力在低语义上下文中的局限性？
• RQ2 如何在各尺度内解耦上升、下降和波动等时间变化模式，以提升预测精度？
• RQ3 引入节点与超边约束在多大程度上增强了模型对语义相似时间点的聚类能力以及对动态模式的区分能力？
• RQ4 所提出的Ada-MSHyper框架是否在多样化的现实世界数据集上，于多尺度时间序列预测中超越现有最先进方法？
• RQ5 该模型能否在不同预测时序范围内（包括长程、短程和超长程任务）实现良好泛化？

主要发现

• Ada-MSHyper在11个真实世界时间序列数据集上均达到最先进性能，在所有评估设置中均优于现有SOTA方法。
• 与最佳基线相比，该模型在长程预测任务中平均将均方误差（MSE）降低4.56%。
• 在短程预测中，Ada-MSHyper实现MSE平均降低10.38%，展现出对细粒度时间模式的强大建模能力。
• 在超长程预测中，模型平均将MSE降低4.97%，表明其在捕捉远距离依赖关系方面具有强鲁棒性。
• 消融实验验证了节点与超边约束均不可或缺，完整NHC机制显著提升了模型对噪声的鲁棒性与模式解耦能力。
• 可视化结果表明，模型成功将语义相似的节点聚类，并将不同时间变化模式（如趋势与振荡）分离至独立的超边中。