[论文解读] Learning and Dynamical Models for Sub-seasonal Climate Forecasting: Comparison and Collaboration

Sijie He, Xinyan Li+4 more|arXiv (Cornell University)|Sep 29, 2021

Meteorological Phenomena and Simulations被引用 4

一句话总结

本文比较了最先进的机器学习（ML）模型与基于物理的动态模型（SubX：GMAO-GEOS 和 NCEP-CFSv2）在北美西部地区次季节气候预测（2周至2个月）中的表现。结果表明，ML 模型在平均表现上优于动态模型，但其预测更为保守。关键发现是，将 SubX 预报作为输入特征可显著提升 ML 模型的性能，尤其在如美国中部这类难以预测的区域，凸显了混合建模在提升次季节预测能力方面的价值。

ABSTRACT

Sub-seasonal climate forecasting (SSF) is the prediction of key climate variables such as temperature and precipitation on the 2-week to 2-month time horizon. Skillful SSF would have substantial societal value in areas such as agricultural productivity, hydrology and water resource management, and emergency planning for extreme events such as droughts and wildfires. Despite its societal importance, SSF has stayed a challenging problem compared to both short-term weather forecasting and long-term seasonal forecasting. Recent studies have shown the potential of machine learning (ML) models to advance SSF. In this paper, for the first time, we perform a fine-grained comparison of a suite of modern ML models with start-of-the-art physics-based dynamical models from the Subseasonal Experiment (SubX) project for SSF in the western contiguous United States. Additionally, we explore mechanisms to enhance the ML models by using forecasts from dynamical models. Empirical results illustrate that, on average, ML models outperform dynamical models while the ML models tend to be conservatives in their forecasts compared to the SubX models. Further, we illustrate that ML models make forecasting errors under extreme weather conditions, e.g., cold waves due to the polar vortex, highlighting the need for separate models for extreme events. Finally, we show that suitably incorporating dynamical model forecasts as inputs to ML models can substantially improve the forecasting performance of the ML models. The SSF dataset constructed for the work, dynamical model predictions, and code for the ML models are released along with the paper for the benefit of the broader machine learning community.

研究动机与目标

• 评估并比较现代机器学习模型与最先进的基于物理的动态模型（SubX）在北美西部连续地区次季节气候预测中的表现。
• 探究将动态模型预报作为输入特征是否能提升机器学习模型的预测性能。
• 识别 ML 模型的局限性，特别是其在预测冷锋等极端天气事件时的低估倾向。
• 发布一个公开可用的次季节预测（SSF）数据集和代码库，以支持机器学习与气候科学社区的可复现性及进一步研究。

提出的方法

• 在为北美西部新构建的次季节预测数据集上，训练并评估四种现代 ML 模型——AutoKNN、多任务 Lasso、XGBoost 和深度编码器-解码器网络。
• 使用两个 SubX 动态模型（GMAO-GEOS 和 NCEP-CFSv2）的再分析数据作为基准预报，并通过空间和时间异常相关系数（ACC）及相对 R² 与 ML 模型进行性能比较。
• 通过将 SubX 预报输出作为额外输入特征来增强 ML 模型，确保公平比较，方法是将训练数据的时间窗口限制在与 SubX 再分析数据相同的范围内。
• 对于多任务 Lasso 模型，在所有位置上联合优化超参数，同时为每个位置单独训练模型，并引入 SubX 特征。
• 应用统计显著性检验（符号检验）比较在 ML 模型中加入 SubX 预报后预测能力的提升。
• 在空间和时间维度上评估模型性能，重点关注可预测性较低的区域，如美国西部北部中部地区。

实验结果

研究问题

• RQ1 在北美西部连续地区，现代机器学习模型在次季节温度预测中是否优于基于物理的动态模型（SubX）？
• RQ2 ML 模型的预报特征（如保守性）与动态模型（如尺度和波动性）相比有何差异？
• RQ3 将动态模型预报作为输入特征是否能显著提升机器学习模型的预测性能？
• RQ4 机器学习模型在哪些区域或条件下最常出现失败？这些失败是否可归因于特定的气象现象？
• RQ5 包含 SubX 预报在多大程度上减少了样本量？如何通过方法设计确保公平的模型比较？

主要发现

• 平均而言，机器学习模型在次季节温度预测中优于 SubX 动态模型，这一结论基于空间和时间异常相关系数（ACC）的衡量。
• ML 模型的预报更为保守，其预测幅度较小，而 SubX 模型的预报更具攻击性且尺度更大，当预测错误时可能导致更大的误差。
• 将 SubX 预报（GMAO-GEOS 和 NCEP-CFSv2）作为输入特征后，XGBoost 和 Lasso 模型的预测能力显著提升，大多数比较的 p 值 < 0.01。
• 性能提升在西部北部中部地区最为显著，该地区历来难以预测，此前为负的时间 ACC 值在特征融合后转为正值。
• 加入 SubX 特征的 Lasso 模型在空间 ACC 上达到中位数 0.25（使用 NCEP-CFSv2）和均值 0.23，显著优于基线模型。
• ML 模型在与极地涡旋相关的极端天气事件（如寒潮）期间表现出显著的预报误差，表明需对极端条件进行专门建模。