[论文解读] Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future

Harshavardhan Kamarthi, Alexander Rodríguez+1 more|arXiv (Cornell University)|Jun 8, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用 4

一句话总结

Back2Future (B2F) 是一种新颖的深度学习框架，通过使用图卷积网络和循环网络对多变量回填动态进行建模，从而提升实时预测性能。该框架在顶级新冠预测模型中实现了6.65%至11.24%的性能提升，在基线模型上更是提升了18%，同时通过将实时预测与稳定、已修订的真实值对齐，显著提高了模型评估的准确性。

ABSTRACT

In real-time forecasting in public health, data collection is a non-trivial and demanding task. Often after initially released, it undergoes several revisions later (maybe due to human or technical constraints) - as a result, it may take weeks until the data reaches to a stable value. This so-called 'backfill' phenomenon and its effect on model performance has been barely studied in the prior literature. In this paper, we introduce the multi-variate backfill problem using COVID-19 as the motivating example. We construct a detailed dataset composed of relevant signals over the past year of the pandemic. We then systematically characterize several patterns in backfill dynamics and leverage our observations for formulating a novel problem and neural framework Back2Future that aims to refines a given model's predictions in real-time. Our extensive experiments demonstrate that our method refines the performance of top models for COVID-19 forecasting, in contrast to non-trivial baselines, yielding 18% improvement over baselines, enabling us obtain a new SOTA performance. In addition, we show that our model improves model evaluation too; hence policy-makers can better understand the true accuracy of forecasting models in real-time.

研究动机与目标

• 为解决实时预测中多变量回填这一尚未被充分探索的问题，其中目标变量和外生特征均会随时间发生回溯性修订。
• 刻画新冠疫情期间各类信号中回填动态的特征，并识别影响模型性能的模式。
• 开发一种可泛化的神经网络框架 Back2Future (B2F)，通过利用跨特征和跨区域的修订模式，改进实时模型预测。
• 通过将性能指标校正为反映完全修订数据上真实准确性的形式，提升模型评估的准确性。
• 将该框架扩展至宏观经济预测领域，证明其在公共卫生领域之外的泛化能力。

提出的方法

• B2F 使用图循环神经网络（GRNN）捕捉修订模式在特征之间和区域之间的相似性。
• 通过双向GRU对特征的时间回填轨迹进行编码，学习其潜在表示。
• 将这些学习到的表示与历史模型预测结果相结合，将实时预测结果优化至已修订的真实值。
• 该框架作为包装器应用于多种预测模型，无需重新训练基础模型即可实现性能提升。
• 通过在区域信号图上应用图卷积层，联合建模修订模式中的空间与时间依赖性。
• 该方法端到端训练，以最小化优化预测与最终修订目标之间的平均绝对误差（MAE）。

实验结果

研究问题

• RQ1 在实时预测过程中，不同流行病学和经济信号的回填动态如何变化？
• RQ2 未经修订的特征值在多大程度上会降低实时预测模型的性能？
• RQ3 能否利用回填模式在不同信号和区域之间的相似性来提升预测准确性？
• RQ4 在修订数据有限的情况下，一个具备回填感知能力的模型需要多快才能达到稳定性能？
• RQ5 所提出的框架能否在公共卫生领域之外泛化至其他存在回填现象的领域，如宏观经济预测？

主要发现

• Back2Future 在完全修订的数据上，使表现最佳的新冠预测模型的平均绝对误差（MAE）降低了6.65%至11.24%。
• 该方法在完全修订目标上的预测误差减少方面，相比非平凡基线模型实现了18%的改进。
• B2F 的性能在数据可用约6周内即趋于稳定，表明即使在修订历史有限的情况下也能实现快速适应。
• 在异常修订期间（如第5周出现48%的误差激增），B2F 将集成模型的预测误差最高降低了74.2%。
• 该框架在多个候选模型上将GDP预测的误差降低了6%至15%，证实其在宏观经济预测中的泛化能力。
• B2F 通过使实时性能指标更接近稳定、最终的MAE值，优化了模型评估，从而实现了对模型准确性的更好评估。