[论文解读] Benchmarking Econometric and Machine Learning Methodologies in Nowcasting

Daniel Hopp|arXiv (Cornell University)|Jan 1, 2022

Market Dynamics and Volatility被引用 3

一句话总结

本文对12种计量经济学与机器学习方法在三次经济危机（1980年代经济衰退、2008年金融危机、新冠疫情）期间对美国季度GDP增长的实时预测表现进行了基准测试。基于1947年以来的FRED数据，评估了预测性能与修正稳定性，发现长短期记忆（LSTM）网络与贝叶斯向量自回归（BVAR）模型整体表现最佳，其中LSTM在极端事件中展现出更高的准确性与更低的修正波动性。

ABSTRACT

Nowcasting can play a key role in giving policymakers timelier insight to data published with a significant time lag, such as final GDP figures. Currently, there are a plethora of methodologies and approaches for practitioners to choose from. However, there lacks a comprehensive comparison of these disparate approaches in terms of predictive performance and characteristics. This paper addresses that deficiency by examining the performance of 12 different methodologies in nowcasting US quarterly GDP growth, including all the methods most commonly employed in nowcasting, as well as some of the most popular traditional machine learning approaches. Performance was assessed on three different tumultuous periods in US economic history: the early 1980s recession, the 2008 financial crisis, and the COVID crisis. The two best performing methodologies in the analysis were long short-term memory artificial neural networks (LSTM) and Bayesian vector autoregression (BVAR). To facilitate further application and testing of each of the examined methodologies, an open-source repository containing boilerplate code that can be applied to different datasets is published alongside the paper, available at: github.com/dhopp1/nowcasting_benchmark.

研究动机与目标

• 对12种主流计量经济学与机器学习方法在实时预测美国季度GDP增长方面的表现进行综合比较评估。
• 评估模型在三次重大经济衰退期间的表现：1980年代初经济衰退、2008年金融危机以及新冠疫情。
• 识别在预测误差与修正动态方面最具准确性和稳定性的方法，尤其在波动环境下。
• 通过发布每种方法的开源、可重用代码，使从业者能够采用并适配这些方法。

提出的方法

• 本研究采用FRED提供的126个月度与季度经济指标构成的基准数据集，覆盖1947–2021年，用于实时预测美国季度GDP增长。
• 对12种方法分别使用历史数据进行训练，并在三个不同经济状态下的样本外预测中进行测试。
• 通过平均绝对误差（MAE）、均方根误差（RMSE）以及多期数据版本的修正波动性来评估性能。
• 模型包括传统计量方法（如ARMA、OLS、岭回归、MF-VAR、BVAR）与机器学习技术（如LSTM、MLP、梯度提升、随机森林、决策树、DFM、MIDAS）。
• 一项关键的方法论创新是使用人工滞后技术，以模拟真实时间的实时预测条件，确保模型评估方式与实际应用一致。
• 一个开源的GitHub仓库托管了完整的可复现Jupyter笔记本，包含每种方法的标准化数据预处理、模型训练与预测流程。

实验结果

研究问题

• RQ1 在经济压力时期，哪些计量经济学与机器学习方法能对美国季度GDP增长提供最准确的实时预测？
• RQ2 在1980年代经济衰退、2008年金融危机与新冠疫情期间，不同模型在预测误差与修正稳定性方面的表现如何？
• RQ3 与基线模型相比，正则化技术（如岭回归）或集成方法（如随机森林、梯度提升）在多大程度上提升了预测性能？
• RQ4 深度学习模型（如LSTM与MLP）与传统时间序列模型相比，在捕捉非线性动态与极端经济波动方面表现如何？
• RQ5 通过为每个数据版本单独训练模型，是否能提升模型性能，尤其是在波动性较高的时期？

主要发现

• 长短期记忆（LSTM）网络整体表现最佳，在2008年金融危机中排名第一，在新冠疫情危机中排名第二，具有最低的修正波动性与高准确性。
• 贝叶斯向量自回归（BVAR）整体排名第二，预测准确性优异，但所有模型中修正敏感度最高。
• LSTM与BVAR模型在综合性能上优于其他所有模型，如图4所示，其误差与稳定性指标综合表现最优。
• 梯度提升树与随机森林模型在训练分布外的极端值预测中表现不佳，持续向均值回归，直至最后两个数据版本才有所改善。
• 多层感知机（MLP）模型在1980年代初经济衰退期间表现较差（MAE最差），但在后续危机中显著改善，2008年危机中排名第五，新冠疫情危机中排名第四。
• 普通最小二乘（OLS）回归整体表现欠佳，在综合排名中低于ARMA与决策树，尽管在最终测试期（2020年）表现强劲，该阶段排名第三。