[论文解读] Aardvark weather: end-to-end data-driven weather forecasting

Anna Vaughan, Stratis Markou+9 more|arXiv (Cornell University)|Mar 30, 2024

Hydrological Forecasting Using AI被引用 8

一句话总结

Aardvark Weather 提出了首个端到端数据驱动的天气预报系统，直接将原始观测映射到预报，涵盖初始状态估计、全球预报以及下游站点预报，且不依赖外部数值天气预报（NWP）输入。

ABSTRACT

This resource contains the key source code, some sample data and the trained models from the paper: "End-to-end data-driven weather forecasting."

研究动机与目标

• 激励用数据驱动的方法替代完整的NWP流程，以实现端到端的天气预报。
• 开发一个端到端模型，输入原始观测数据，输出全球网格化预报和局部站点预报。
• 展示在5–7天预报时效上的高技能预报，并显示相对于传统NWP的潜在计算效率提升。
• 通过以再分析数据进行预训练并在观测数据上微调来实现训练，以应对某些地区数据稀缺问题。

提出的方法

• 提出一个三模块神经过程型架构（ConvCNP），包含编码器、处理器和解码器，用以处理网格内外数据及缺失值。
• 为每个模块使用UNet骨干网络，以实现可扩展的端到端学习。
• 将来自原位观测和遥感源的观测输入编码为网格化的初始状态，经由处理器自回归预测，并解码为局部站点预报。
• 使用ERA5再分析数据进行预训练，然后使用2007–2022年的实际观测数据进行微调，以改进初始状态和预报。
• 利用SetConv层对网格外数据进行插值并将网格化预报映射到任意站点位置，结合地形信息。

Figure 1 : Illustration of the complete end-to-end weather prediction pipeline. First, in the atmospheric state estimation stage (green), observed data from a range of sources including remote sensing platforms, marine observation platforms (e.g. ships) and in-situ land-based observation stations (w

实验结果

研究问题

• RQ1 端到端数据驱动模型是否能够在不依赖现有NWP系统输入的情况下同时生成全球与局部预测？
• RQ2 端到端模型对24个全球变量在多个气压层的预测能力，以及局部站点预报的预测能力是多少？
• RQ3 在准确性和计算效率方面，端到端模型与持久性、气候态以及IFS-HRES等基线相比如何？
• RQ4 在用观测数据微调时，ERA5再分析数据的预训练在提高性能方面能提升到何种程度？
• RQ5 模型在处理网格外数据和不同地理区域的缺失观测方面表现如何？

主要发现

• 该模型在1.41°网格、24小时时序分辨率下，对24个变量在多个层次提供高质量预报，预报时效为5到7天。
• 全球初始状态估计基于原始观测的误差显著低于 climatology，在某些指标上与IFS-HRES相比具有竞争力但未超越。
• 对于局部站点预报，在T2M、MSLP和U10的多个提前期，Aardvark 在最近邻 IFS-HRES 基线之上。
• 端到端系统所需计算资源明显低于传统NWP基线，并且可以在少量GPU上训练。
• 在ERA5上的预训练在对观测数据较少的区域进行微调时提高了编码器的有效性，缓解了某些区域的数据稀缺问题。