[论文解读] Temporal Graph Neural Networks for Irregular Data

Joel Oskarsson, Per Sidén+1 more|arXiv (Cornell University)|Feb 16, 2023

Energy Load and Power Forecasting被引用 7

一句话总结

该论文提出TGNN4I，一种时间图神经网络，通过由指数衰减和周期性动态驱动的线性常微分方程（ODE）控制的时间连续潜在状态，对不规则观测的图结构时间序列进行建模。通过将图神经网络（GNN）集成到基于GRU的状态更新与预测中，该模型能够在任意时间点实现精确预测，即使在部分且不规则观测下也表现优异，在交通、气候和合成数据上均优于基线模型。

ABSTRACT

This paper proposes a temporal graph neural network model for forecasting of graph-structured irregularly observed time series. Our TGNN4I model is designed to handle both irregular time steps and partial observations of the graph. This is achieved by introducing a time-continuous latent state in each node, following a linear Ordinary Differential Equation (ODE) defined by the output of a Gated Recurrent Unit (GRU). The ODE has an explicit solution as a combination of exponential decay and periodic dynamics. Observations in the graph neighborhood are taken into account by integrating graph neural network layers in both the GRU state update and predictive model. The time-continuous dynamics additionally enable the model to make predictions at arbitrary time steps. We propose a loss function that leverages this and allows for training the model for forecasting over different time horizons. Experiments on simulated data and real-world data from traffic and climate modeling validate the usefulness of both the graph structure and time-continuous dynamics in settings with irregular observations.

研究动机与目标

• 解决图结构时间序列在不规则观测时间点和部分节点观测下的预测挑战。
• 开发一种方法，通过在节点状态中保持时间连续动态，实现在任意时间点（而不仅观测时间点）的预测能力。
• 将图拓扑结构与时间动态统一整合到一个能够处理缺失数据和非同步测量的框架中。
• 设计一种与不规则观测模式兼容且支持多步预测的可微分损失函数。
• 在具有不同程度不规则性的真实世界和合成数据集上验证模型的有效性。

提出的方法

• 使用时间连续的线性ODE对每个节点的潜在状态进行建模，其显式解包含指数衰减项和可选的周期性分量。
• 利用门控循环单元（GRU）在新观测到达时更新潜在状态，并通过GNN层引入邻域信息。
• 将GNN层集成到GRU状态更新和最终预测头中，以捕捉节点间的依赖关系。
• 将ODE解定义为闭式表达式，从而实现无需数值ODE求解器的高效训练与推理。
• 设计一种损失函数，利用模型的时间连续性，兼顾不规则观测时间点并支持多步预测。
• 使用二值掩码高效追踪每个时间点的观测节点，从而在稀疏观测模式下实现可扩展的训练。

实验结果

研究问题

• RQ1 具有闭式ODE动态的时间连续潜在状态是否能提升在不规则采样图结构时间序列上的预测性能？
• RQ2 将GNN集成到GRU更新和预测头中，对在部分且不规则观测下建模节点间依赖关系的效率如何？
• RQ3 与离散时间基线相比，模型在任意时间点预测的能力在多大程度上提升了预测准确性？
• RQ4 在具有不同不规则程度的交通和气候数据等多样化领域中，模型表现如何？
• RQ5 模型能否泛化到合成周期性信号，并有效处理现实系统中常见的缺失数据模式？

主要发现

• TGNN4I在具有不规则观测模式的真实世界交通和气候数据集上，相比基线模型实现了更优的预测性能。
• 图结构信息与时间连续动态的引入显著提升了预测准确性，尤其在部分观测和非同步测量场景下表现更优。
• 得益于其连续时间公式化设计，该模型能够在任意时间点实现精确预测，而这是标准离散时间RNN或GNN方法无法实现的。
• 在合成数据上的实验表明，模型成功捕捉了周期性动态，并在缺失观测情况下性能下降极小。
• 闭式ODE解使训练速度优于依赖数值ODE求解器的模型（如LG-ODE），同时保持了具有竞争力的性能。
• 该模型的架构支持下游任务（如数据填补和序列分割），得益于其连续潜在状态表示。