[论文解读] Capturing missing physics in climate model parameterizations using neural differential equations

Ali J. Ramadhan, John C. Marshall+9 more|arXiv (Cornell University)|Oct 23, 2020

Meteorological Phenomena and SimulationsEarth and Planetary Sciences被引用 17

一句话总结

本文提出使用神经微分方程（NDEs）通过从高分辨率模拟中学习缺失的物理过程，改进气候模型的参数化方法。NDE框架通过数据驱动的通量校正增强基础参数化（例如对流调整），在捕捉非局域和逆梯度通量方面显著优于传统模型（如KPP），展现出更高的精度和稳定性。

ABSTRACT

We explore how neural differential equations (NDEs) may be trained on highly resolved fluid-dynamical models of unresolved scales providing an ideal framework for data-driven parameterizations in climate models. NDEs overcome some of the limitations of traditional neural networks (NNs) in fluid dynamical applications in that they can readily incorporate conservation laws and boundary conditions and are stable when integrated over time. We advocate a method that employs a 'residual' approach, in which the NN is used to improve upon an existing parameterization through the representation of residual fluxes which are not captured by the base parameterization. This reduces the amount of training required and providing a method for capturing up-gradient and nonlocal fluxes. As an illustrative example, we consider the parameterization of free convection of the oceanic boundary layer triggered by buoyancy loss at the surface. We demonstrate that a simple parameterization of the process - convective adjustment - can be improved upon by training a NDE against highly resolved explicit models, to capture entrainment fluxes at the base of the well-mixed layer, fluxes that convective adjustment itself cannot represent. The augmented parameterization outperforms existing commonly used parameterizations such as the K-Profile Parameterization (KPP). We showcase that the NDE performs well independent of the time-stepper and that an online training approach using differentiable simulation via the Julia scientific machine learning software stack improves accuracy by an order-of-magnitude. We conclude that NDEs provide an exciting route forward to the development of representations of sub-grid-scale processes for climate science, opening up myriad new opportunities.

研究动机与目标

• 为解决气候模型参数化中长期存在的缺失物理过程问题，特别是未解析的亚网格尺度过程（如海洋边界层湍流）
• 开发一种数据驱动的参数化框架，通过学习基础参数化未能捕捉的残差通量，改进现有模型
• 利用神经微分方程（NDEs）确保流体动力学模拟中守恒定律和长期稳定性的实现
• 证明NDE能够捕捉非局域和逆梯度通量——这些现象常被传统参数化方法（如对流调整或KPP）所忽略
• 通过真实海洋自由对流案例验证该方法，显示其在保真度上优于现有参数化模型

提出的方法

• 采用残差参数化方法，其中神经网络建模由现有基础参数化（如对流调整）未表示的通量校正（残差）
• 利用神经微分方程（NDEs）在海洋边界层的高分辨率显式模拟上进行训练，以学习未解析过程（如混合层底部的夹卷通量）的动力学
• NDE框架通过其微分方程结构内建守恒定律和边界条件，确保长时间积分下的物理解释一致性和数值稳定性
• 通过Julia科学机器学习栈（如DiffEqFlux.jl）实现端到端可微分模拟的在线训练，支持时间积分过程中的反向传播，使训练精度提升一个数量级
• 采用多种神经网络架构（全连接与卷积）进行测试，并使用两种损失函数进行评估：一种基于通量（L1），一种基于时间序列（L2），训练基于9组高分辨率模拟进行
• 以K-Profile Parameterization（KPP）作为基线模型，并通过差分进化算法优化其参数，以确保与NDE增强模型的公平比较

实验结果

研究问题

• RQ1 神经微分方程（NDEs）是否能有效学习并表征标准参数化方法（如对流调整）无法捕捉的缺失亚网格尺度通量——特别是非局域和逆梯度通量？
• RQ2 NDE增强的参数化方法在模拟海洋自由对流时，与KPP等成熟模型相比表现如何？
• RQ3 与传统神经网络相比，NDE框架在长时间积分中保持守恒定律和数值稳定性的程度如何？
• RQ4 通过可微分模拟实现的在线训练是否显著提升基于NDE的参数化方法的精度，相较于标准训练方法？
• RQ5 基于NDE的参数化方法是否能在不同初始条件之间实现良好泛化，并对时间步长方案的变化保持鲁棒性？

主要发现

• NDE增强的参数化方法优于标准KPP模型，损失函数从参考参数下的1.26×10⁻⁴降低至优化后的5.33×10⁻⁵，实现2.4倍的性能提升
• NDE框架成功捕捉了良好混合层底部的夹卷通量——这是对流调整方法无法表征的过程，证明其具备建模非局域和逆梯度通量的能力
• 通过Julia科学计算栈实现的在线可微分模拟训练，使NDE模型的精度相比标准训练提升10倍，凸显端到端反向传播的优势
• 基于NDE的参数化方法在长时间积分中保持稳定，且不依赖时间步长方案，这是相较于传统神经网络常出现的不稳定性所具有的关键优势
• 通过在微分方程结构中直接整合守恒定律和边界条件，该方法保持了物理一致性，确保了物理解释合理的动态行为
• NDE框架在不同训练与测试条件下均表现出良好泛化能力，多种神经网络架构（全连接与卷积）均呈现一致性能，表明对网络架构选择具有鲁棒性