[论文解读] Graph Message Passing with Cross-location Attentions for Long-term ILI Prediction

Songgaojun Deng, Shusen Wang+3 more|arXiv (Cornell University)|Dec 21, 2019

Advanced Graph Neural Networks参考文献 31被引用 13

一句话总结

本文提出Cola-GNN，一种具有跨位置注意力机制的图神经网络，以提升长期流行性感冒样疾病（ILI）预测性能。通过结合RNN进行时序特征学习与可学习注意力矩阵进行空间依赖建模，该模型比现有方法更有效地捕捉时空动态，在美国和日本的ILI数据集上实现了长达20周的领先预测性能。

ABSTRACT

Forecasting influenza-like illness (ILI) is of prime importance to epidemiologists and health-care providers. Early prediction of epidemic outbreaks plays a pivotal role in disease intervention and control. Most existing work has either limited long-term prediction performance or lacks a comprehensive ability to capture spatio-temporal dependencies in data. Accurate and early disease forecasting models would markedly improve both epidemic prevention and managing the onset of an epidemic. In this paper, we design a cross-location attention based graph neural network (Cola-GNN) for learning time series embeddings and location aware attentions. We propose a graph message passing framework to combine learned feature embeddings and an attention matrix to model disease propagation over time. We compare the proposed method with state-of-the-art statistical approaches and deep learning models on real-world epidemic-related datasets from United States and Japan. The proposed method shows strong predictive performance and leads to interpretable results for long-term epidemic predictions.

研究动机与目标

• 解决在历史数据有限和监测报告延迟的条件下，实现10至20周长期ILI预测的挑战。
• 对多个地理区域间ILI传播中的复杂时空依赖关系进行建模。
• 在传统统计与深度学习模型忽略空间相关性或在长期预测中表现不佳的前提下，提升预测准确性。
• 开发一种图神经网络框架，通过学习位置感知注意力机制，实现动态疾病传播建模。
• 通过分析学习到的注意力矩阵作为流行病传播模式的代理，提供可解释的结果。

提出的方法

• 模型采用图神经网络结构，每个地理位置作为节点，边由可学习注意力矩阵定义，以捕捉节点间的相互影响。
• 通过RNN建模时序依赖，从每个位置的历史ILI时间序列生成隐藏状态。
• 引入时序卷积模块，提取短窗时序模式，并在图传播前增强特征表示。
• 通过基于注意力的邻接矩阵进行图消息传递，实现动态传播建模。
• 最终预测头结合多个GNN层的节点嵌入，预测未来时间步的ILI数量。
• 在训练过程中联合优化注意力矩阵，使模型能自动学习哪些位置对其他位置具有影响，基于数据模式。

实验结果

研究问题

• RQ1 与固定空间邻接矩阵相比，具有可学习注意力机制的图神经网络是否能提升长期ILI预测性能？
• RQ2 基于RNN的时序建模与基于注意力的空间传播机制相结合，在捕捉复杂时空动态方面有多高效？
• RQ3 所提出的Cola-GNN框架是否在不同地理区域的长期ILI预测中，优于当前最先进的统计与深度学习模型？
• RQ4 学习到的注意力权重在多大程度上反映了有意义的流行病传播模式，而非偶然相关性？
• RQ5 模型性能对超参数（如历史窗口大小和图特征维度）的敏感性如何？

主要发现

• Cola-GNN在来自美国和日本的三个真实世界数据集上达到SOTA性能，在长期预测（如15周领先时间）中RMSE和PCC指标显著提升。
• 模型在长期预测中优于强基线模型（包括AR、VAR、ARMA、RNN和GCN-based模型），尤其在时序与空间依赖关系最为关键的场景下表现更优。
• 消融实验表明，若移除位置感知注意力模块并改用地理邻接矩阵，性能下降，证实了学习到的空间关系的价值。
• 模型在不同历史窗口大小（10–50周）下保持稳定性能，表明对输入序列长度具有鲁棒性。
• 敏感性分析显示，适度增加图特征维度可提升预测性能，但过大的RNN架构（如GRU/LSTM）会导致过拟合，表现反而劣于简单RNN。
• 模型计算成本适中（单张GPU上每轮0.21秒），尽管结构复杂且参数量达3,778（US-States数据集），仍具高效性。