[论文解读] AI-based data assimilation: Learning the functional of analysis estimation

Jan D. Keller, Roland Potthast|arXiv (Cornell University)|Jun 1, 2024

Meteorological Phenomena and Simulations被引用 4

一句话总结

本文提出 AI-Var，一种基于深度学习的新型变分数据同化方法，该方法将变分代价函数直接整合到神经网络中，从而无需依赖预先存在的分析数据集。通过端到端训练网络以最小化变分代价函数，AI-Var 在降低计算成本的同时，实现了数值天气预报的精确初始条件，在理想化和真实世界测试案例中均展现出可行性。

ABSTRACT

The integration of observational data into numerical models, known as data assimilation (DA), is fundamental for making Numerical Weather Prediction (NWP) possible, with breathtaking success over the past 60 years (Bauer et al. 2015). Traditional DA methods, such as variational techniques and ensemble Kalman filters, are basic pillars of current NWP by incorporating diverse observational data. However, the emergence of artificial intelligence (AI) presents new opportunities for further improvements. AI-based approaches can emulate the complex computations of traditional NWP models at a reduced computational cost, offering the potential to speed up and improve analyses and forecasts dramatically (e.g. Pathak et al., 2022; Bi et al., 2023; Lam et al., 2023; Bouallegue et al., 2023). AI itself plays a growing role in optimization (e.g. Fan et al., 2024), which offers new possibilities also beyond model emulation. In this paper, we introduce a novel AI-based variational DA approach designed to replace classical methods of DA by leveraging deep learning techniques. Unlike previous hybrid approaches, our method integrates the DA process directly into a neural network, utilizing the variational DA framework. This innovative AI-based system, termed AI-Var, employs a neural network trained to minimize the variational cost function, enabling it to perform DA without relying on pre-existing analysis datasets. We present a proof-of-concept implementation of this approach, demonstrating its feasibility through a series of idealized and real-world test cases. Our results indicate that the AI-Var system can efficiently assimilate observations and produce accurate initial conditions for NWP, highlighting its potential to carry out the DA process in weather forecasting. This advancement paves the way for fully data-driven NWP systems, offering a significant leap forward in computational efficiency.

研究动机与目标

• 开发一种完全数据驱动的、基于人工智能的数据同化系统，绕过经典分析步骤和预先存在的数据集。
• 将变分数据同化框架直接集成到神经网络架构中，以提升计算效率。
• 证明仅通过训练神经网络最小化变分代价函数，而无需依赖真实分析场，是可行的。
• 探索 AI-Var 作为完全数据驱动的数值天气预报系统基础的潜力。
• 在理想化和真实世界气象数据上评估该方法的性能，包括地表温度（T2M）场。

提出的方法

• 将三维变分（3D-Var）变分代价函数表述为深度神经网络中的可微分损失函数。
• 使用全连接神经网络，通过最小化变分代价函数，将模型背景场和观测数据（含位置信息）映射为分析场。
• 损失函数通过马氏距离结合背景场和观测场的不匹配项，并采用正则化的基于高斯分布的背景误差协方差矩阵（B-矩阵）。
• 使用随机梯度下降配合 Adam 优化器，在合成和真实观测数据上训练网络，输入场经过归一化处理，观测位置作为输入向量的一部分进行编码。
• 通过直接最小化代价函数实现自监督学习，避免对标注分析数据集的依赖。
• 使用 PyTorch 实现该方法，数据加载和训练循环设计为支持基于网格的气象场批量处理。

实验结果

研究问题

• RQ1 是否可以训练深度神经网络，通过直接最小化变分代价函数来执行数据同化，而无需依赖预先计算的分析场？
• RQ2 当仅使用背景场和观测数据进行训练时，AI-Var 方法在重建精确初始条件方面的表现如何？
• RQ3 背景误差协方差矩阵的表示方式（例如高斯核）对分析质量有何影响？
• RQ4 AI-Var 框架是否可成功应用于真实世界气象数据（如2米温度T2M），尤其是在空间异质性较强的情况下？
• RQ5 在分析误差和计算效率方面，AI-Var 与经典3D-Var 方法相比表现如何？

主要发现

• AI-Var 方法成功学习到最小化变分代价函数，并在理想化和真实世界测试案例中均生成了精确的初始条件。
• 在理想化情况下，该方法将分析误差相比背景场降低了高达70%，展现出强大的学习能力。
• 对于真实世界T2M数据，方法实现了显著的误差降低，但性能在一定程度上受限于固定高斯B-矩阵的使用，表明采用更自适应的协方差模型可进一步提升性能。
• 使用独立观测的交叉验证实验验证了该方法的泛化能力，尽管在所选B-矩阵配置下结果略低于最优。
• 概念验证实现表明，对变分代价函数进行端到端训练，可使网络在无真实分析数据访问的情况下学习到复杂的数据同化动力学。
• 结果表明，AI-Var 是迈向计算效率更高的完全数据驱动数值天气预报系统的一条可行路径。