[论文解读] A new paradigm for medium-range severe weather forecasts: probabilistic random forest-based predictions

Aaron J. Hill, Russ S. Schumacher+1 more|arXiv (Cornell University)|Aug 3, 2022

Meteorological Phenomena and Simulations被引用 15

一句话总结

本文提出了一种基于概率的随机森林（RF）模型，利用GEFSv12再分析数据集中的历史强天气报告和再预报数据，生成4至8天的中长期强天气预报。该模型在第4至5天的预报技能与人工生成的SPC展望相当，且在较低概率阈值下具有良好的校准性，展示了机器学习在提升中长期强天气业务指导方面的价值。

ABSTRACT

Historical observations of severe weather and simulated severe weather environments (i.e., features) from the Global Ensemble Forecast System v12 (GEFSv12) Reforecast Dataset (GEFS/R) are used in conjunction to train and test random forest (RF) machine learning (ML) models to probabilistically forecast severe weather out to days 4--8. RFs are trained with 9 years of the GEFS/R and severe weather reports to establish statistical relationships. Feature engineering is briefly explored to examine alternative methods for gathering features around observed events, including simplifying features using spatial averaging and increasing the GEFS/R ensemble size with time-lagging. Validated RF models are tested with ~1.5 years of real-time forecast output from the operational GEFSv12 ensemble and are evaluated alongside expert human-generated outlooks from the Storm Prediction Center (SPC). Both RF-based forecasts and SPC outlooks are skillful with respect to climatology at days 4 and 5 with degrading skill thereafter. The RF-based forecasts exhibit tendencies to underforecast severe weather events, but they tend to be well-calibrated at lower probability thresholds. Spatially averaging predictors during RF training allows for prior-day thermodynamic and kinematic environments to generate skillful forecasts, while time-lagging acts to expand the forecast areas, increasing resolution but decreasing objective skill. The results highlight the utility of ML-generated products to aid SPC forecast operations into the medium range.

研究动机与目标

• 开发一种基于机器学习的中长期强天气威胁预报系统（第4至8天），利用大气特征与历史强天气报告之间的统计关系。
• 评估基于再分析数据训练的随机森林模型是否能生成具有预报技能的、概率性的预报，从而优于或补充传统的业务展望。
• 评估特征工程技术（如空间平均和时滞处理）对预报技能和校准性的影响。
• 探索机器学习生成的指导在提升风暴预测中心（SPC）业务预报员的提前量和一致性方面的实用性。
• 通过置换重要性与SHAP值等技术提升机器学习模型的可解释性，增强其在业务流程中的可信度与整合性。

提出的方法

• 在约9年的GEFSv12再分析数据集（GEFS/R）和历史强天气报告上训练随机森林（RF）模型，以学习大气特征与强天气发生之间的统计关系。
• 在训练过程中对预报因子实施空间平均，以通过整合前一日的热力学和动力学环境来提升预报技能。
• 应用时滞处理，通过随时间增加有效集合规模，扩大预报覆盖范围和分辨率。
• 使用约1.5年的实时GEFSv12集合输出验证训练好的RF模型，并将预测结果与SPC人工生成的展望进行对比。
• 采用Brier评分和可靠性图等概率性指标评估预报性能，重点关注低概率阈值下的校准性。
• 通过置换重要性与SHAP值等技术探索模型可解释性，以理解特征贡献并提高透明度。

实验结果

研究问题

• RQ1 基于再分析数据训练的随机森林模型能否生成具有预报技能的概率性中长期（第4至8天）强天气预报，且其性能优于气候学基准并可与业务SPC展望相媲美？
• RQ2 空间平均和时滞处理等特征工程技术如何影响基于RF的强天气预报的技能与校准性？
• RQ3 基于RF的预报在第4天和第5天在多大程度上能匹配或超越人工生成的SPC展望的性能？
• RQ4 概率性预报在低概率阈值下是否具有良好校准性，这对业务实用性有何启示？
• RQ5 SHAP与置换重要性等可解释性方法能否增强对机器学习指导的信任度，并促进其在SPC预报业务中的整合？

主要发现

• RF模型在第4天和第5天的预报技能高于气候学基准，且与同期人工生成的SPC展望性能相当。
• 模型存在轻微低估强天气事件的趋势，但在低概率阈值下仍保持良好校准性，表明其概率输出具有可靠性。
• 训练过程中对预报因子实施空间平均，通过整合前一日的大气环境提升了预报技能，增强了模型预测强天气的能力。
• 时滞处理提高了预报分辨率并扩大了威胁区域，但降低了客观预报技能，表明覆盖范围与准确率之间存在权衡。
• RF模型在提前8天内对强天气事件的总体位置预测表现出显著技能，优于中长期确定性GEFSv12预报。
• 本研究凸显了机器学习生成的统计指导在提升SPC预报业务中的潜力，可增加提前量、提升一致性，并增强对中长期展望的信心。