[论文解读] Do AI models produce better weather forecasts than physics-based models? A quantitative evaluation case study of Storm Ciarán

Andrew Charlton‐Perez, Helen Dacre+9 more|arXiv (Cornell University)|Dec 5, 2023

Meteorological Phenomena and Simulations被引用 6

一句话总结

本研究评估了四种最先进的AI天气模型——FourCastNet、Pangu-Weather、GraphCast和FourCastNet-v2——在预测一场致命的欧洲风暴Ciarán时的表现，与基于物理的数值模型进行对比。尽管AI模型准确捕捉了大尺度气旋结构和动力驱动因素，但它们始终低估了峰值风速，并未能解析关键的中尺度特征，如回折锋梯度和暖核闭合现象。

ABSTRACT

There has been huge recent interest in the potential of making operational weather forecasts using machine learning techniques. As they become a part of the weather forecasting toolbox, there is a pressing need to understand how well current machine learning models can simulate high-impact weather events. We compare forecasts of Storm Ciarán, a European windstorm that caused sixteen deaths and extensive damage in Northern Europe, made by machine learning and numerical weather prediction models. The four machine learning models considered (FourCastNet, Pangu-Weather, GraphCast and FourCastNet-v2) produce forecasts that accurately capture the synoptic-scale structure of the cyclone including the position of the cloud head, shape of the warm sector and location of warm conveyor belt jet, and the large-scale dynamical drivers important for the rapid storm development such as the position of the storm relative to the upper-level jet exit. However, their ability to resolve the more detailed structures important for issuing weather warnings is more mixed. All of the machine learning models underestimate the peak amplitude of winds associated with the storm, only some machine learning models resolve the warm core seclusion and none of the machine learning models capture the sharp bent-back warm frontal gradient. Our study shows there is a great deal about the performance and properties of machine learning weather forecasts that can be derived from case studies of high-impact weather events such as Storm Ciarán.

研究动机与目标

• 评估现代AI天气模型在预测一次高影响的中纬度气旋过程中的表现。
• 通过一次真实世界案例研究，比较AI模型与基于物理的数值天气预报（NWP）模型的预报结果。
• 评估AI模型再现对严重天气预警至关重要的天气尺度和中尺度特征的能力。
• 识别AI模型在表征快速发展气旋及其相关灾害性天气方面的优势与局限性。
• 通过量化其预测保真度，为将AI模型整合进业务气象预报系统提供依据。

提出的方法

• 利用四种基于深度学习的天气模型（FourCastNet、Pangu-Weather、GraphCast和FourCastNet-v2）对风暴Ciarán进行回溯性预报。
• 将模型输出与观测数据及业务NWP模型输出（如ECMWF）在关键大气变量上进行对比。
• 分析天气尺度特征，如气旋中心位置、暖湿气流急流和高层急流出流区。
• 评估中尺度特征（包括回折锋梯度和暖核闭合现象）的保真度与分辨率。
• 使用均方根误差（RMSE）和模式相关性等定量指标评估预报准确性。
• 在风暴生命周期的多个大气层次和时间步长上，开展定性与定量对比分析。

实验结果

研究问题

• RQ1 与基于物理的模型相比，AI天气模型在多大程度上准确再现了风暴Ciarán的大尺度天气尺度结构？
• RQ2 AI模型在多大程度上能够解析对严重天气预警至关重要的中尺度特征（如回折锋和暖核闭合现象）？
• RQ3 AI模型在预测峰值风速和风暴强度方面，与业务NWP模型相比表现如何？
• RQ4 AI模型输出中存在哪些系统性偏差，特别是在表征风暴动力驱动因素（如高层急流）方面？
• RQ5 AI模型能否可靠模拟像风暴Ciarán这样的中纬度气旋的快速发展过程？

主要发现

• 所有四种AI模型均准确捕捉了风暴Ciarán的大尺度天气尺度结构，包括云头位置和暖区位置。
• AI模型正确再现了高层急流出流区的位置及其影响，该区域是快速气旋生成的关键驱动力。
• 尽管大尺度结构表征准确，所有AI模型均系统性低估了与风暴相关的峰值风速。
• 仅部分AI模型解析了暖核闭合现象，且无一模型捕捉到回折暖锋的陡峭梯度。
• 模型在强度和精细锋面结构方面表现出一致的偏差，表明其在解析对预警至关重要的中尺度特征方面仍存在局限。
• 本研究表明，尽管AI模型在大尺度动力过程方面表现良好，但在解析操作预警决策所需的详细高影响特征方面仍显不足。