[论文解读] Adjoint-Matching Neural Network Surrogates for Fast 4D-Var Data Assimilation

Austin Chennault, Andrey A. Popov+5 more|arXiv (Cornell University)|Nov 16, 2021

Model Reduction and Neural Networks被引用 10

一句话总结

本文提出一种伴随匹配神经网络代理模型，通过在训练损失中引入导数信息，以加速4D-Var数据同化。通过训练网络同时匹配前向动力学和伴随敏感性，该方法显著提升了4D-Var解的精度和泛化能力，优于仅使用前向数据的标准神经网络代理模型。

ABSTRACT

Data assimilation is the process of fusing information from imperfect computer simulations with noisy, sparse measurements of reality to obtain improved estimates of the state or parameters of a dynamical system of interest. The data assimilation procedures used in many geoscience applications, such as numerical weather forecasting, are variants of the our-dimensional variational (4D-Var) algorithm. The cost of solving the underlying 4D-Var optimization problem is dominated by the cost of repeated forward and adjoint model runs. This motivates substituting the evaluations of the physical model and its adjoint by fast, approximate surrogate models. Neural networks offer a promising approach for the data-driven creation of surrogate models. The accuracy of the surrogate 4D-Var solution depends on the accuracy with each the surrogate captures both the forward and the adjoint model dynamics. We formulate and analyze several approaches to incorporate adjoint information into the construction of neural network surrogates. The resulting networks are tested on unseen data and in a sequential data assimilation problem using the Lorenz-63 system. Surrogates constructed using adjoint information demonstrate superior performance on the 4D-Var data assimilation problem compared to a standard neural network surrogate that uses only forward dynamics information.

研究动机与目标

• 通过用快速神经网络代理模型替代昂贵的物理模型计算，加速4D-Var数据同化。
• 通过在训练过程中引入伴随模型信息，超越仅依赖前向动力学，提升代理模型的精度。
• 证明伴随匹配训练相比仅使用前向数据的标准代理训练，能获得更优的4D-Var解。
• 分析不同伴随信息训练策略对前向和伴随模型泛化的影响。
• 在Lorenz-63系统上验证该方法，展示其在序列数据同化任务中的优越性能。

提出的方法

• 构建一种融合物理引导的机器学习框架，将伴随模型导数纳入神经网络损失函数。
• 提出四种训练策略：标准（仅前向）、拉格朗日（通过拉格朗日乘子获得伴随）、随机（随机伴随向量）和随机列（伴随矩阵的随机列向量）。
• 利用自动微分计算神经网络相对于其输入的伴随敏感性，实现对前向和伴随动力学的基于梯度的训练。
• 使用组合损失函数训练代理网络，该函数同时惩罚模型输出和伴随向量乘积中的误差。
• 通过前向和伴随动力学的RMSE指标，在未见测试数据上验证代理模型的泛化性能。
• 将训练好的代理模型应用于4D-Var优化问题，并通过与真实4D-Var结果对比的RMSE评估解的精度。

实验结果

研究问题

• RQ1 在神经网络训练中引入伴随模型信息是否能提升4D-Var数据同化解的精度？
• RQ2 与仅前向训练的标准方法相比，伴随匹配训练在前向和伴随模型泛化方面表现如何？
• RQ3 在Lagrange、Random和RandCol三种伴随信息训练策略中，哪一种在4D-Var应用中整体性能最佳？
• RQ4 伴随建模的改进是否足以完全解释4D-Var解质量的提升，还是前向动力学精度同样关键？
• RQ5 伴随匹配代理模型在序列数据同化场景中对未见数据是否具有良好的泛化能力？

主要发现

• 基于拉格朗日的伴随匹配代理模型在未见测试数据上的前向模型泛化RMSE最低，为0.39 ± 0.02，显著优于标准代理模型（0.48 ± 0.05）。
• RandCol方法在伴随模型泛化性能上表现最佳（RMSE = 0.74 ± 0.01），甚至优于标准代理模型（0.97 ± 0.01）。
• 所有伴随信息训练方法相比标准代理模型均显著提升了4D-Var解的精度，其中拉格朗日方法实现了最佳的4D-Var RMSE（0.37 ± 0.02）。
• 配对t检验确认所有RMSE差异在p = 0.95水平下均具有统计显著性，表明伴随信息集成带来了稳健的性能提升。
• 4D-Var解质量的提升不能完全归因于前向或伴随模型泛化能力的改善，表明两者的协同效应至关重要。
• 训练损失曲线显示，伴随信息训练方法在训练过程中前向损失更低但伴随损失更高，反映了学习目标之间的权衡。