[论文解读] Learning to Reconstruct Missing Data from Spatiotemporal Graphs with Sparse Observations

Ivan Marisca, Andrea Cini+1 more|arXiv (Cornell University)|May 26, 2022

Functional Brain Connectivity Studies被引用 19

一句话总结

本文提出SPIN，一种具有稀疏时空注意力机制的新型图神经网络，通过在时空中仅传播观测到的值来重建高度稀疏的多变量时间序列中的缺失数据。与自回归模型不同，SPIN避免了误差传播，并在交通和空气质量基准测试中实现了最先进性能，尤其在极端稀疏条件下表现优异。

ABSTRACT

Modeling multivariate time series as temporal signals over a (possibly dynamic) graph is an effective representational framework that allows for developing models for time series analysis. In fact, discrete sequences of graphs can be processed by autoregressive graph neural networks to recursively learn representations at each discrete point in time and space. Spatiotemporal graphs are often highly sparse, with time series characterized by multiple, concurrent, and long sequences of missing data, e.g., due to the unreliable underlying sensor network. In this context, autoregressive models can be brittle and exhibit unstable learning dynamics. The objective of this paper is, then, to tackle the problem of learning effective models to reconstruct, i.e., impute, missing data points by conditioning the reconstruction only on the available observations. In particular, we propose a novel class of attention-based architectures that, given a set of highly sparse discrete observations, learn a representation for points in time and space by exploiting a spatiotemporal propagation architecture aligned with the imputation task. Representations are trained end-to-end to reconstruct observations w.r.t. the corresponding sensor and its neighboring nodes. Compared to the state of the art, our model handles sparse data without propagating prediction errors or requiring a bidirectional model to encode forward and backward time dependencies. Empirical results on representative benchmarks show the effectiveness of the proposed method.

研究动机与目标

• 解决真实传感器网络中常见高度稀疏、不规则观测的多变量时间序列中缺失数据重建的挑战。
• 克服依赖预测值进行后续重建而固有的不稳定性和误差传播问题，这些问题是自回归模型的缺陷。
• 设计一种仅基于观测数据进行填补的模型，避免依赖双向或易出错的自回归预测链。
• 引入一种显式考虑稀疏性并仅通过图结构传播有效观测值的时空注意力机制。
• 开发一种自组织、任务对齐的传播过程，直接学习用于填补的表示，从而在稀疏环境中提升鲁棒性。

提出的方法

• 提出一种稀疏时空注意力机制，仅将注意力限制在时空中已观测的节点上，避免对缺失数据点进行注意力计算。
• 设计一种图神经网络架构，其中每个节点的表示通过仅聚合来自时空中已观测邻居的信息进行更新。
• 端到端训练模型以使用损失函数重建缺失观测值，该损失函数最小化观测数据点上的重建误差。
• 引入一种分层注意力变体（SPIN-H），在保持性能的同时降低计算复杂度，尤其适用于大规模图结构。
• 通过确保每个节点的表示仅由有效观测数据点提供信息，使消息传递过程与填补目标对齐。
• 使用可学习的注意力机制，根据时空邻近性和数据可用性动态加权邻近节点和时间步的贡献。

实验结果

研究问题

• RQ1 在高度稀疏设置下，自组织的时空传播机制是否能比自回归模型更稳健地重建缺失数据？
• RQ2 仅基于观测数据进行填补而不依赖预测值，是否能减少误差累积并在极端稀疏条件下提升泛化能力？
• RQ3 所提出的稀疏时空注意力机制在处理长序列连续缺失时，与标准注意力机制和自回归模型相比表现如何？
• RQ4 分层注意力变体（SPIN-H）在降低计算成本的同时，能在多大程度上保持性能？
• RQ5 该模型是否能在不重新训练的情况下，泛化到不同数据分布和缺失数据模式（如点状缺失与块状缺失）？

主要发现

• SPIN在所有基准测试和稀疏水平下均优于所有基线模型，包括GRIN、SAITS和Transformer，在METR-LA、PEMS-BAY和AQI数据集上实现了最低的MAE。
• 在块状缺失设置下，故障概率为15%（约96–97%缺失率）时，SPIN在AQI数据集上的MAE为24.34，显著优于GRIN（29.03）和SAITS（36.34）。
• 在块状缺失场景下，SPIN-H在METR-LA数据集上于5%故障概率下的MAE为2.64，优于GRIN（3.05）和SAITS（4.73）。
• 随着稀疏性增加，SPIN的性能下降速度慢于基线模型，表明其对极端缺失数据模式具有更强的鲁棒性。
• SPIN在不同缺失数据分布（点状缺失与块状缺失）下均保持强劲性能，表明其具备超越特定稀疏模式的泛化能力。
• 模型仅基于观测数据进行端到端训练，避免了误差传播，从而在稀疏环境中实现了更稳定可靠的训练动态。