[论文解读] Data driven weather forecasts trained and initialised directly from observations

A. P. McNally, Christian Lessig+12 more|arXiv (Cornell University)|Jul 22, 2024

Hydrological Forecasting Using AIEnvironmental Science被引用 3

一句话总结

本文提出了一种新颖的数据驱动气象预报方法，该方法直接从原始观测数据训练和初始化神经网络，完全绕过基于物理的模型和再分析数据集。通过学习一级观测数据（如卫星辐射率、SYNOP数据）中的时间模式，该模型能够提前12小时对地表温度和风速进行具有现实意义的预报，证明了仅通过观测即可捕捉复杂的大气动力学，而无需显式的数据同化或背景预报。

ABSTRACT

Skilful Machine Learned weather forecasts have challenged our approach to numerical weather prediction, demonstrating competitive performance compared to traditional physics-based approaches. Data-driven systems have been trained to forecast future weather by learning from long historical records of past weather such as the ECMWF ERA5. These datasets have been made freely available to the wider research community, including the commercial sector, which has been a major factor in the rapid rise of ML forecast systems and the levels of accuracy they have achieved. However, historical reanalyses used for training and real-time analyses used for initial conditions are produced by data assimilation, an optimal blending of observations with a physics-based forecast model. As such, many ML forecast systems have an implicit and unquantified dependence on the physics-based models they seek to challenge. Here we propose a new approach, training a neural network to predict future weather purely from historical observations with no dependence on reanalyses. We use raw observations to initialise a model of the atmosphere (in observation space) learned directly from the observations themselves. Forecasts of crucial weather parameters (such as surface temperature and wind) are obtained by predicting weather parameter observations (e.g. SYNOP surface data) at future times and arbitrary locations. We present preliminary results on forecasting observations 12-hours into the future. These already demonstrate successful learning of time evolutions of the physical processes captured in real observations. We argue that this new approach, by staying purely in observation space, avoids many of the challenges of traditional data assimilation, can exploit a wider range of observations and is readily expanded to simultaneous forecasting of the full Earth system (atmosphere, land, ocean and composition).

研究动机与目标

• 消除机器学习气象预报中对基于物理的模型和再分析数据集的依赖。
• 解决传统数据同化方法的局限性，后者依赖于背景预报和复杂的误差协方差建模。
• 探究神经网络是否能仅从原始观测中学习大气动力学，而无需中间的格网点变量。
• 通过在大气、海洋和陆地的多样化观测源上进行训练，实现完全耦合的地球系统预报。
• 释放以往因辐射传输复杂性而被排除在业务NWP之外的未充分利用观测数据（如可见光谱卫星辐射率）的潜力。

提出的方法

• 模型仅在历史原始观测数据（一级数据）上进行训练，包括卫星辐射率、现场测量（如SYNOP）及其他观测类型。
• 预报在观测空间中进行：网络直接从任意位置过去观测中预测未来天气参数（如地表温度、风速）的值。
• 该方法通过不依赖格网点初始状态或背景预报，避免了数据同化；相反，它从观测序列中学习时间演变规律。
• 使用多样化观测输入，训练一个原型神经网络，以12小时预报提前量预测未来观测值。
• 该方法在本质上对地球系统组分保持中立，可统一利用观测数据集，同时对大气、海洋、陆地及大气成分进行预报。
• 通过利用不同观测类型之间的空间和时间相关性，模型隐式学习物理关系，而无需显式物理方程。

(a) ATMS microwave radiances

实验结果

研究问题

• RQ1 神经网络能否仅从原始观测数据中学习到真实的12小时气象预报，而无需依赖再分析数据或基于物理的模型？
• RQ2 在仅使用观测序列的情况下，数据驱动模型在多大程度上能捕捉复杂的大气动力学（超越简单平流）？
• RQ3 该模型能否有效利用通常因辐射传输复杂性而被排除在业务NWP之外的未充分利用观测类型（如可见光谱卫星辐射率）？
• RQ4 与传统的数据同化相比，基于直接观测的预报在跨地球系统组分的鲁棒性和可扩展性方面表现如何？
• RQ5 同一架构能否扩展至使用统一观测训练集，同时对多个地球系统组分（大气、海洋、陆地、成分）进行预报？

主要发现

• 该模型成功从原始观测中学习到大气过程的时间演变，生成了地表温度和风速的12小时预报，具有高度现实性。
• 即使使用原型网络和有限的观测数据，该模型仍展现出超越简单平流的预报技能，能够捕捉天气系统中复杂的时空模式。
• 网络学习到不同观测类型（如卫星辐射率与SYNOP地表数据）之间的稳健关系，从而能够准确预测关键天气参数。
• 该方法避免了数据同化和背景预报的需求，从而规避了误差协方差估计和卫星观测中零空间限制等挑战。
• 初步结果显示，该模型能够以高度真实感预测未来观测，表明在采用更复杂架构扩展后，具备实现更长时效预报的潜力。
• 该方法在本质上可扩展至耦合地球系统预报，因其对所有观测源一视同仁，无论其所属地球组分或物理来源。

(b) IASI infrared radiances