[论文解读] Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data

Yu-Cheng Wang, Yuecong Xu+5 more|arXiv (Cornell University)|Sep 11, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出 FC-STGNN，一种用于多变量时间序列数据的新型图神经网络，通过建模不同传感器在不同时间戳之间的相关性（DEDT），完全捕捉时空（ST）依赖关系。它引入了衰减加权全连接图和移动池化图卷积机制，有效学习局部 ST 模式，在多个基准测试中优于最先进方法，且计算成本更低。

ABSTRACT

Multivariate Time-Series (MTS) data is crucial in various application fields. With its sequential and multi-source (multiple sensors) properties, MTS data inherently exhibits Spatial-Temporal (ST) dependencies, involving temporal correlations between timestamps and spatial correlations between sensors in each timestamp. To effectively leverage this information, Graph Neural Network-based methods (GNNs) have been widely adopted. However, existing approaches separately capture spatial dependency and temporal dependency and fail to capture the correlations between Different sEnsors at Different Timestamps (DEDT). Overlooking such correlations hinders the comprehensive modelling of ST dependencies within MTS data, thus restricting existing GNNs from learning effective representations. To address this limitation, we propose a novel method called Fully-Connected Spatial-Temporal Graph Neural Network (FC-STGNN), including two key components namely FC graph construction and FC graph convolution. For graph construction, we design a decay graph to connect sensors across all timestamps based on their temporal distances, enabling us to fully model the ST dependencies by considering the correlations between DEDT. Further, we devise FC graph convolution with a moving-pooling GNN layer to effectively capture the ST dependencies for learning effective representations. Extensive experiments show the effectiveness of FC-STGNN on multiple MTS datasets compared to SOTA methods. The code is available at https://github.com/Frank-Wang-oss/FCSTGNN.

研究动机与目标

• 解决现有基于图神经网络的方法在建模多变量时间序列（MTS）数据中不同传感器在不同时间戳之间的相关性（DEDT）方面的局限性。
• 开发一个统一框架，通过将 DEDT 相关性整合到图构建和卷积中，全面捕捉时空（ST）依赖关系。
• 通过高效的移动池化图卷积和衰减加权连接，降低计算复杂度，同时保持高性能。
• 在真实世界的 MTS 基准数据集上评估模型的有效性和效率，包括剩余使用寿命预测和睡眠阶段分类。

提出的方法

• 提出一种全连接（FC）图构建方法，通过点积相似度将所有时间戳下的所有传感器连接起来，并基于时间距离引入衰减矩阵，优先考虑时间上更接近的时刻。
• 引入一个包含参数 δ 的衰减矩阵，为时间上更接近的传感器对分配更高的相关性权重，确保对 DEDT 依赖关系的真实建模。
• 设计一种移动池化 GNN 层，在时间戳上以大小为 M 的滑动窗口内应用图卷积，捕捉局部 ST 模式，同时降低计算负载。
• 在每个移动窗口后应用时间池化，聚合特征并生成高层表示，多个并行层堆叠以进一步优化特征。
• 使用窗口大小 M 和步长 s 控制感受野和特征聚合，消融研究发现 M=2 且 s=1 为最优配置。
• 在每个窗口内应用标准图卷积操作，通过边传播更新节点特征，随后进行时间池化以总结时间维度上的特征。

实验结果

研究问题

• RQ1 建模不同传感器在不同时间戳之间的相关性（DEDT）是否能显著提升多变量时间序列数据的表征学习能力？
• RQ2 在全连接图中引入衰减加权时间连接，对 MTS 任务中的性能和泛化能力有何影响？
• RQ3 在捕捉局部 ST 依赖关系时，移动池化 GNN 层的最优窗口大小和步长是多少，以避免过拟合或信息丢失？
• RQ4 在 FLOPs、模型大小和推理速度方面，FC-STGNN 与最先进方法相比在性能和效率上表现如何？

主要发现

• 当 M=2 时的变体优于 M=1（无 DEDT 建模），表明捕捉 DEDT 相关性可显著提升 C-MAPSS 数据集上的性能。
• 当窗口大小 M 超过 2 时性能下降，例如在 FD001 上 M=4 时，由于局部时间模式捕捉效果差而表现不佳。
• 衰减率 δ=0.7 或 δ=0.9 时性能最佳，而 δ=0.1 导致显著下降，因 DEDT 相关性被过度扭曲。
• FC-STGNN 在所有对比的 SOTA 方法中具有最低的 FLOPs 和可训练参数数量，表明其具有高效率。
• 该模型具有最快的推理时间，适用于实际系统中的实时部署。
• 尽管训练时间略高于 HierCorr（210 秒 vs. 194 秒），但差异微小，且被推理速度和模型效率的提升所抵消。