[论文解读] Graph-Time Convolutional Neural Networks: Architecture and Theoretical Analysis

Mohammad Sabbaqi, Elvin Isufi|arXiv (Cornell University)|Jun 30, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出图-时间卷积神经网络（GTCNNs），一种基于乘积图联合捕捉空间与时间依赖性的原理性架构，用于建模时空数据。通过在乘积图（预定义或可学习）上应用图卷积原理，该方法实现了稳定、数学上可处理的学习过程，并具备对空间扰动的理论鲁棒性保证。在基准数据集上，GTCNNs优于当前最先进模型，同时通过递归设计保持了计算效率。

ABSTRACT

Devising and analyzing learning models for spatiotemporal network data is of importance for tasks including forecasting, anomaly detection, and multi-agent coordination, among others. Graph Convolutional Neural Networks (GCNNs) are an established approach to learn from time-invariant network data. The graph convolution operation offers a principled approach to aggregate multiresolution information. However, extending the convolution principled learning and respective analysis to the spatiotemporal domain is challenging because spatiotemporal data have more intrinsic dependencies. Hence, a higher flexibility to capture jointly the spatial and the temporal dependencies is required to learn meaningful higher-order representations. Here, we leverage product graphs to represent the spatiotemporal dependencies in the data and introduce Graph-Time Convolutional Neural Networks (GTCNNs) as a principled architecture to aid learning. The proposed approach can work with any type of product graph and we also introduce a parametric product graph to learn also the spatiotemporal coupling. The convolution principle further allows a similar mathematical tractability as for GCNNs. In particular, the stability result shows GTCNNs are stable to spatial perturbations but there is an implicit trade-off between discriminability and robustness; i.e., the more complex the model, the less stable. Extensive numerical results on benchmark datasets corroborate our findings and show the GTCNN compares favorably with state-of-the-art solutions. We anticipate the GTCNN to be a starting point for more sophisticated models that achieve good performance but are also fundamentally grounded.

研究动机与目标

• 开发一种基于图归纳偏置的原理性深度学习架构，用于联合建模时空数据中的空间与时间依赖性。
• 通过乘积图将图卷积网络的理论分析（特别是稳定性与等变性）扩展至时空领域。
• 通过引入参数化乘积图，实现时空耦合的端到端学习，使模型能自适应数据驱动的时间关系。
• 通过递归的GTCNN架构设计，确保在大规模图和长时序序列下的计算可扩展性，避免显式存储完整的乘积图。
• 在真实世界基准数据集上验证模型的性能与鲁棒性，与当前最先进时空模型相比表现更优。

提出的方法

• GTCNN通过静态空间图与时间图构建乘积图，将时空依赖关系表示为一个更大的静态图。
• 在乘积图上应用移位-求和图卷积操作，实现在统一框架下对空间与时间维度的消息传递。
• 利用图-时间傅里叶变换进行谱分析，揭示滤波器行为：图-时间滤波器在谱域中表现为逐点乘法。
• 引入参数化乘积图，使模型能够端到端学习时间关系，提升对数据模式的适应能力。
• 通过递归实现GTCNN，降低内存占用，避免对长时序序列显式构建大型乘积图。
• 利用图信号处理工具推导理论稳定性边界，表明稳定性随时间序列长度线性退化，但相比将时间视为独立特征的标准GCNN，鲁棒性更优。

实验结果

研究问题

• RQ1 如何将图卷积原理扩展至以数学上可处理的方式建模具有联合空间与时间依赖性的时空数据？
• RQ2 所提出的GTCNN对空间图支撑的扰动具有何种稳定性？与标准GCNN相比表现如何？
• RQ3 可学习的乘积图是否能提升模型捕捉复杂时间动态的能力，相比固定乘积图？
• RQ4 递归GTCNN架构如何在降低内存消耗的同时保持对长序列和大图的性能？
• RQ5 GTCNN在基准时空预测任务中相比最先进模型的性能优势有多大？

主要发现

• GTCNN在基准数据集上达到最先进性能，在METR-LA数据集上测试RMSE为3.57%，优于Graph WaveNet和STGCN等模型。
• 与标准GCNN相比，模型对空间扰动表现出更强鲁棒性，实证稳定性结果与推导的理论边界高度吻合。
• 稳定性随时间序列长度线性退化，与定理1预测一致，但相比将时间视为独立特征的GCNN，鲁棒性更优。
• 谱分析显示，学习到的滤波器在高图频率上变化平滑，而时间频率变化更大，表明实现了有效的联合时空学习。
• 参数化乘积图使模型能直接从数据中学习时间耦合，相比固定图结构，显著提升了性能与灵活性。
• 递归GTCNN架构显著降低内存消耗，使大规模图与长序列的可扩展训练成为可能，且无需显式存储乘积图。