[论文解读] Inter-Series Attention Model for COVID-19 Forecasting

Xiaoyong Jin, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Oct 25, 2020

COVID-19 epidemiological studies参考文献 31被引用 5

一句话总结

本文提出ACTS，一种用于COVID-19的、基于数据驱动的时间序列预测模型，通过跨系列注意力机制比较多个地理区域之间的模式，显著提升了现有方法的预测准确率。通过结合注意力机制与去趋势化及归一化处理，ACTS在18个测试案例中的13个里，在确诊病例、住院人数和死亡人数的预测上均达到最先进水平，优于CDC推荐的预测模型和深度学习基线模型。

ABSTRACT

COVID-19 pandemic has an unprecedented impact all over the world since early 2020. During this public health crisis, reliable forecasting of the disease becomes critical for resource allocation and administrative planning. The results from compartmental models such as SIR and SEIR are popularly referred by CDC and news media. With more and more COVID-19 data becoming available, we examine the following question: Can a direct data-driven approach without modeling the disease spreading dynamics outperform the well referred compartmental models and their variants? In this paper, we show the possibility. It is observed that as COVID-19 spreads at different speed and scale in different geographic regions, it is highly likely that similar progression patterns are shared among these regions within different time periods. This intuition lead us to develop a new neural forecasting model, called Attention Crossing Time Series ( extbf{ACTS}), that makes forecasts via comparing patterns across time series obtained from multiple regions. The attention mechanism originally developed for natural language processing can be leveraged and generalized to materialize this idea. Among 13 out of 18 testings including forecasting newly confirmed cases, hospitalizations and deaths, extbf{ACTS} outperforms all the leading COVID-19 forecasters highlighted by CDC.

研究动机与目标

• 解决在数据有限且多变的多样化地理区域中，实现准确、实时的COVID-19发病率预测的挑战。
• 探究仅基于数据驱动的方法，不显式建模疾病动力学，是否能优于SIR和SEIR等经典分室模型。
• 开发一种神经网络预测框架，以捕捉疾病进展模式在不同区域间的跨区域相似性，从而提高预测准确率。
• 评估注意力机制在比较不同区域时间序列以实现流行病预测方面的有效性。
• 评估去趋势化与归一化组件在提升稀疏、非平稳时间序列预测性能方面的贡献。

提出的方法

• 该模型使用跨系列注意力机制，将目标区域的近期时间序列与所有其他区域的历史片段进行比较，以识别相似的进展模式。
• 采用查询-键-值注意力机制，其中查询源自目标区域的近期数据，键则从参考区域的时间序列中提取。
• 引入去趋势化模块，以建模注意力机制本身无法捕捉的长期趋势，提升对非平稳数据的鲁棒性。
• 对时间序列片段嵌入进行归一化，以稳定训练过程并改善不同尺度区域间的注意力对齐。
• 模型仅使用发病率数据（确诊病例、住院人数、死亡人数）和最少的辅助特征进行端到端训练，不依赖流行病学假设。
• 注意力机制可动态选择其他区域中与目标区域相似的历史时间窗口，实现跨地理区域的预测模式迁移。

实验结果

研究问题

• RQ1 纯粹基于数据驱动且依赖注意力机制的模型是否能在预测COVID-19发病率方面超越SIR和SEIR等经典分室模型？
• RQ2 不同区域间疾病进展模式的跨系列相似性在多大程度上能提升预测准确率？
• RQ3 在预测特定区域未来发病率时，注意力机制在识别其他区域相关历史模式方面的有效性如何？
• RQ4 去趋势化与归一化组件在提升稀疏且非平稳时间序列预测性能方面的贡献有多大？
• RQ5 随着数据可用性的增加，模型性能是否提升？与ConvTrans和TFT等深度学习基线相比表现如何？

主要发现

• 在18项预测任务中的13项里，ACTS优于所有领先的CDC推荐预测模型，对确诊病例、住院人数和死亡人数的平均性能分别优于最佳基线模型9%、5%和4%。
• 模型在所有测试日期均达到最低的WAPE（加权平均百分比误差），在五次随机初始化下性能波动仅为±0.02，表明其具有高度鲁棒性。
• 跨系列注意力机制对性能提升贡献最大，证明跨区域模式匹配可显著提升预测准确率，超越仅依赖本地自回归建模的方法。
• 去趋势化模块带来了可测量的性能改进，表明在注意力机制无法捕捉宏观动态时，建模长期趋势至关重要。
• 模型训练时间不足5分钟，推理时间仅需数秒，尽管结构复杂，仍表现出卓越效率。
• 基于注意力查询的聚类揭示了有意义的地理分组——例如，加利福尼亚州、德克萨斯州和佛罗里达州因死亡人数轨迹相似而被归为一组——验证了模型学习生物上合理区域相似性的能力。