[论文解读] TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time Series Classification

Huaiyuan Liu, Xianzhang Liu+5 more|arXiv (Cornell University)|Apr 11, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

TodyNet 是一种用于多元时间序列分类的新型时序动态图神经网络，通过可学习的、随时间变化的图结构以及分层时序图池化机制捕捉隐藏的时空依赖关系。它在 26 个 UEA 基准数据集上优于最先进方法，通过端到端框架联合学习动态图构建、图消息传递和时序卷积。

ABSTRACT

Multivariate time series classification (MTSC) is an important data mining task, which can be effectively solved by popular deep learning technology. Unfortunately, the existing deep learning-based methods neglect the hidden dependencies in different dimensions and also rarely consider the unique dynamic features of time series, which lack sufficient feature extraction capability to obtain satisfactory classification accuracy. To address this problem, we propose a novel temporal dynamic graph neural network (TodyNet) that can extract hidden spatio-temporal dependencies without undefined graph structure. It enables information flow among isolated but implicit interdependent variables and captures the associations between different time slots by dynamic graph mechanism, which further improves the classification performance of the model. Meanwhile, the hierarchical representations of graphs cannot be learned due to the limitation of GNNs. Thus, we also design a temporal graph pooling layer to obtain a global graph-level representation for graph learning with learnable temporal parameters. The dynamic graph, graph information propagation, and temporal convolution are jointly learned in an end-to-end framework. The experiments on 26 UEA benchmark datasets illustrate that the proposed TodyNet outperforms existing deep learning-based methods in the MTSC tasks.

研究动机与目标

• 为解决现有深度学习模型在捕捉多元时间序列中隐藏变量间依赖关系方面的局限性。
• 通过引入随时间演化的动态图机制，克服传统图神经网络中静态图假设的限制。
• 通过设计可学习的时序图池化层实现分层图级抽象，增强全局表征学习。
• 开发一个端到端框架，联合优化时序卷积、动态图学习和图消息传递，以提升分类性能。

提出的方法

• TodyNet 使用变量间的基于注意力的相似性计算，为每个时间步构建动态图，实现对时变依赖关系的自适应建模。
• 它采用具有可学习参数的图神经网络，在动态构建的图中跨节点（变量）传播信息，捕捉时序与空间相关性。
• 引入一种新颖的时序图池化层，以分层方式聚合节点表征，生成用于分类的全局图级表征。
• 该模型整合时序卷积神经网络，在基于图的特征学习之前提取局部时序模式，实现多尺度表征学习。
• 所有组件——时序卷积、动态图构建、图传播和时序池化——均以共享参数进行端到端训练。
• 图结构并非预定义，而是从数据中动态学习，使模型能够适应变量间随时间变化的内在关系。

实验结果

研究问题

• RQ1 动态图机制是否能通过捕捉变量间随时间演化的依赖关系，提升多元时间序列分类性能？
• RQ2 与静态图或手工设计图相比，端到端学习动态图构建与消息传递对分类准确率的影响如何？
• RQ3 时序图池化在多大程度上增强了多元时间序列分类中的全局表征学习？
• RQ4 将时序卷积与动态图学习结合，是否能实现比独立的 CNN 或 RNN 模型更优的特征提取？

主要发现

• TodyNet 在 26 个 UEA 基准数据集中的 25 个上达到最先进性能，证明其在多样化多元时间序列任务中具有卓越的分类准确率。
• 消融实验确认，所有组件——动态图、图池化和图消息传递——均显著提升性能，其中动态图对准确率提升贡献最大。
• 动态图机制优于静态图基线，能够实现在时间上隔离但相互依赖的变量之间的信息流动。
• t-SNE 可视化显示，TodyNet 学习到具有判别性的、与类别相关的表征，同一类别的样本在嵌入空间中紧密聚类。
• 热力图分析证实，不同类别的学习嵌入存在显著差异，表明具备有效的类别判别能力。
• 时序图池化层通过实现图级特征的分层抽象，提升了模型性能，增强了泛化能力。