[论文解读] Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks

Andrea Cini, Ivan Marisca+1 more|arXiv (Cornell University)|Jul 31, 2021

Functional Brain Connectivity Studies被引用 40

一句话总结

GRIN 是一个基于图神经网络的双向递归架构，用于多变量时间序列插补，利用通道之间的关系信息来重建缺失值，在多个基准数据集上达到最先进的结果。

ABSTRACT

Dealing with missing values and incomplete time series is a labor-intensive, tedious, inevitable task when handling data coming from real-world applications. Effective spatio-temporal representations would allow imputation methods to reconstruct missing temporal data by exploiting information coming from sensors at different locations. However, standard methods fall short in capturing the nonlinear time and space dependencies existing within networks of interconnected sensors and do not take full advantage of the available - and often strong - relational information. Notably, most state-of-the-art imputation methods based on deep learning do not explicitly model relational aspects and, in any case, do not exploit processing frameworks able to adequately represent structured spatio-temporal data. Conversely, graph neural networks have recently surged in popularity as both expressive and scalable tools for processing sequential data with relational inductive biases. In this work, we present the first assessment of graph neural networks in the context of multivariate time series imputation. In particular, we introduce a novel graph neural network architecture, named GRIN, which aims at reconstructing missing data in the different channels of a multivariate time series by learning spatio-temporal representations through message passing. Empirical results show that our model outperforms state-of-the-art methods in the imputation task on relevant real-world benchmarks with mean absolute error improvements often higher than 20%.

研究动机与目标

• 通过利用关系信息，推动对互联传感器网络中缺失值的插补。
• 引入基于图的递归架构（GRIN）用于多变量时间序列插补（MTSI），其通过消息传递来建模时空依赖。
• 在多样的真实世界基准上展示最先进的插补性能。
• 展示 GRIN 能处理可变输入维数和不连通节点。
• 提供消融研究，以突出空间解码和双向性的的重要性。

提出的方法

• 将输入的多变量时间序列建模为具有固定拓扑的图序列。
• 开发一个带有两个阶段的双向 GRIN：时空编码器和每个方向的空间解码器。
• 在时空编码器中使用 MPNN 实现 GRU 门。
• 应用一个填充算子将一步前预测值与观测值融合，用于插补。
• 引入第二个插补阶段，使用通过邻居消息聚合的插补表示。
• 通过多层感知机（MLP）将前向和后向表示结合起来，生成最终的插补值。

实验结果

研究问题

• RQ1 图神经网络是否能够有效捕捉用于多变量时间序列插补的非线性时空依赖？
• RQ2 双向 GRIN 是否通过利用过去和未来上下文来改进插补？
• RQ3 在具有不同关系结构的多样真实数据集上，GRIN 相对于最先进基线的表现如何？

主要发现

• GRIN 在多个基准上达到最先进的插补性能，平均绝对误差的改进通常超过 20%。
• 在交通和智能电网数据集中，GRIN 明显优于 BRITS 和其他基线，在交通数据集中平均将 MAE 降低约 29%。
• 即使在孤立节点和关系信息不那么明确的情况下，GRIN 仍然有效。
• 消融研究表明去掉空间解码器或双向性会降低性能，强调了空间和双向组件的重要性。