[论文解读] Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer

William T. Ng, K. Siu+2 more|arXiv (Cornell University)|Aug 19, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出时间序列注意力变换器（TSAT），一种新颖方法，通过将多变量时间序列表示为边增强的动态图，以捕捉序列内的时间依赖性和序列间的相关性。通过将自注意力机制与超经验模态分解（SMD）模块相结合，TSAT 在多个预测基准上优于六种最先进模型，在真实世界和合成数据集上均表现出卓越性能。

ABSTRACT

A reliable and efficient representation of multivariate time series is crucial in various downstream machine learning tasks. In multivariate time series forecasting, each variable depends on its historical values and there are inter-dependencies among variables as well. Models have to be designed to capture both intra- and inter-relationships among the time series. To move towards this goal, we propose the Time Series Attention Transformer (TSAT) for multivariate time series representation learning. Using TSAT, we represent both temporal information and inter-dependencies of multivariate time series in terms of edge-enhanced dynamic graphs. The intra-series correlations are represented by nodes in a dynamic graph; a self-attention mechanism is modified to capture the inter-series correlations by using the super-empirical mode decomposition (SMD) module. We applied the embedded dynamic graphs to times series forecasting problems, including two real-world datasets and two benchmark datasets. Extensive experiments show that TSAT clearly outerperforms six state-of-the-art baseline methods in various forecasting horizons. We further visualize the embedded dynamic graphs to illustrate the graph representation power of TSAT. We share our code at https://github.com/RadiantResearch/TSAT.

研究动机与目标

• 开发一种表示学习框架，有效建模多变量时间序列中的时间动态与跨变量依赖关系。
• 解决在保留丰富序列内时间模式的同时捕捉复杂序列间相关性的挑战。
• 通过将时间序列转换为可学习结构表示的边增强动态图，提升预测准确性。
• 在多样化的真实世界与基准数据集上验证所提方法的有效性。

提出的方法

• 该方法构建一个动态图，其中节点代表时间序列变量，边编码随时间演化的序列间相关性。
• 采用改进的自注意力机制以建模序列间依赖关系，并通过超经验模态分解（SMD）模块增强特征表示。
• 通过随时间演化的可学习节点表示来捕捉每个时间序列内的时间依赖性。
• 模型使用类似图神经网络（GNN）的聚合机制，基于动态图中的邻域信息更新节点特征。
• 最终的预测头通过处理动态图结构中更新后的节点表示生成预测结果。
• 整个框架通过在预测时序上的标准回归损失进行端到端训练。

实验结果

研究问题

• RQ1 动态图表示能否有效建模多变量时间序列中的序列内与序列间依赖关系？
• RQ2 SMD 与自注意力机制的结合如何提升时间序列预测的表示学习能力？
• RQ3 所提出的 TSAT 模型是否在多样化预测基准与真实世界数据集上达到最先进性能？
• RQ4 所学习的动态图在捕捉有意义的时间与跨变量关系方面是否具备可解释性？

主要发现

• TSAT 在所有评估的预测时序上，于真实世界与基准数据集上均显著优于六种最先进基线模型。
• 在 ETTh1 与 ETTh2 数据集上，该模型实现了最低的平均绝对误差（MAE）与均方根误差（RMSE），相比次优基线模型性能提升最高达 15%。
• 嵌入的动态图可视化显示了随时间变化的连贯且有意义的结构演变，表明模型有效学习了序列间关系。
• SMD 增强的注意力机制通过更好地捕捉时间序列间的非线性与多尺度依赖关系，显著提升了性能。
• 消融实验确认，动态图构建与 SMD 模块均为模型卓越性能的关键组成部分。