[论文解读] A Machine Learning Outlook: Post-processing of Global Medium-range Forecasts

Shreya Agrawal, Robert W. Carver+8 more|arXiv (Cornell University)|Mar 28, 2023

Meteorological Phenomena and Simulations被引用 8

一句话总结

论文研究全球中等距离天气预报的非线性神经网络后处理（ML-PP），使用全球173个气象特征以在多达7天前提高预报精度，对某些变量的RMSE提升可达约14%。

ABSTRACT

Post-processing typically takes the outputs of a Numerical Weather Prediction (NWP) model and applies linear statistical techniques to produce improve localized forecasts, by including additional observations, or determining systematic errors at a finer scale. In this pilot study, we investigate the benefits and challenges of using non-linear neural network (NN) based methods to post-process multiple weather features -- temperature, moisture, wind, geopotential height, precipitable water -- at 30 vertical levels, globally and at lead times up to 7 days. We show that we can achieve accuracy improvements of up to 12% (RMSE) in a field such as temperature at 850hPa for a 7 day forecast. However, we recognize the need to strengthen foundational work on objectively measuring a sharp and correct forecast. We discuss the challenges of using standard metrics such as root mean squared error (RMSE) or anomaly correlation coefficient (ACC) as we move from linear statistical models to more complex non-linear machine learning approaches for post-processing global weather forecasts.

研究动机与目标

• 评估非线性神经网络能否在全球NWP输出的后处理方面优于传统线性MOS/EMOS方法。
• 通过联合处理173个气象特征来学习它们之间的依赖关系，而不是逐一处理。
• 在基线方法上评估性能并分析在气象学ML后处理中合适的评估指标。

提出的方法

• 对GFS预报（六小时 lead time 直至7天）进行后处理，以更好地在t+6时匹配GDAS分析。
• 使用输入包括GFS_t^6、GDAS_t、日照位置以及一个衰减加权偏差项B_N，预测预报误差e_{t+6}=GFS_t^6 - GDAS_{t+6}。
• 将全球场投影到0.25 x 0.25度并拼接成256x256网格，以适应内存约束。
• 比较一个简单的逐点网络（576K参数）与一个类似U-Net的模型；由于性能相当，选择更简单的ML-PP模型。
• 在训练方案上进行实验：单一全球模型、按纬度加权的损失、以及三个区域（北部高纬、热带、南部高纬）模型；发现三区域训练效果最佳。
• 探索损失函数（MSE、MAE、Log Cosh、余弦相似度、Fractions Skill Score）并报告总体上没有显著的性能差异。

Figure 1 : RMSE of different weather variables at 500hPa and 850hPa.

实验结果

研究问题

• RQ1 非线性ML后处理是否能在全球多变量NWP后处理中优于传统线性MOS/EMOS方法？
• RQ2 联合学习跨173个气象要素是否能捕捉变量间的相关性以改善预报？
• RQ3 哪种训练策略（全球vs区域）和哪种损失函数能为ML后处理带来最佳全局性能？
• RQ4 在7天前瞻内，ML后处理预报在RMSE和异常相关系数（ACC）方面与基线相比有何表现？
• RQ5 哪些指标最能反映ML后处理的预报锐度和空间结构？

主要发现

• ML后处理在850 hPa风分量的RMSE提升可达约14%，在各种高度的温度和可降水量等变量RMSE提升约为12%。
• 在500 hPa等高静力高度的RMSE提升约7.6%，以及其他地表变量在7天时段的RMSE提升约12–13%。
• 三区域训练（北半球高纬、热带带、南半球高纬）效果最好，能应对区域差异导致的误差特征。
• 统计显著性表明部分RMSE与ACC提升具有显著性；地形高度（geopotential height）未从ML-PP获得ACC提升，而其他变量则有适度的ACC提升。
• 研究指出像RMSE/ACC这样的传统指标未必充分反映感知的锐度与对流结构，因此需要设计新的损失函数/评估指标以保留气旋际变性。

Figure 2 : Skill card with color-coding to indicate statistical significance for 7 day post-processing at different vertical levels. White blanks mean data at those levels was not available in GFS. Top: MSE for variables at multiple vertical levels, bottom-left: MSE for surface variables, bottom-rig