[论文解读] Learning to Assimilate in Chaotic Dynamical Systems

Michael T. McCabe, Jed Brown|arXiv (Cornell University)|Nov 1, 2021

Meteorological Phenomena and Simulations参考文献 58被引用 4

一句话总结

本文提出了一种称为**amortized assimilation**（摊销同化）的自监督深度学习框架，该框架仅利用噪声大、不完整的观测数据以及可微分模拟，无需真实标签数据，即可学习估计混沌动力系统中的初始状态。该方法通过神经网络训练将变分同化的计算成本摊销，显著降低了计算负担，在小样本集合和高噪声水平下，其性能优于传统数据同化方法。

ABSTRACT

The accuracy of simulation-based forecasting in chaotic systems is heavily dependent on high-quality estimates of the system state at the time the forecast is initialized. Data assimilation methods are used to infer these initial conditions by systematically combining noisy, incomplete observations and numerical models of system dynamics to produce effective estimation schemes. We introduce amortized assimilation, a framework for learning to assimilate in dynamical systems from sequences of noisy observations with no need for ground truth data. We motivate the framework by extending powerful results from self-supervised denoising to the dynamical systems setting through the use of differentiable simulation. Experimental results across several benchmark systems highlight the improved effectiveness of our approach over widely-used data assimilation methods.

研究动机与目标

• 解决混沌动力系统中初始条件估计的挑战，因为微小误差会迅速放大。
• 开发一种无需真实标签数据的数据同化方法，仅依赖噪声大、不完整的观测数据。
• 通过摊销技术学习神经网络策略，降低变分数据同化的计算负担。
• 将自监督去噪原理从静态系统扩展至动态系统，利用可微分模拟。
• 在数值天气预报等高风险应用场景中提升预测准确性，尤其在小样本集合等资源受限条件下。

提出的方法

• 该方法采用受集合卡尔曼滤波（EnKF）启发的神经网络架构，通过源自可微分模拟的自监督目标进行训练。
• 利用可微分模拟反向传播通过系统动力学，实现同化网络的端到端训练。
• 将数据同化问题视为序列到序列的学习任务，其中网络将噪声观测序列映射为改进的状态估计。
• 训练目标基于将Batson和Royer的自监督去噪理论扩展至动态系统，使用模型自身的预测作为伪真实标签。
• 该方法基于DAPPER库实现，支持常微分方程（ODEs）和偏微分方程（PDEs），包括Lorenz-96、Kuramoto-Shivashinsky和Vissio-Lucarini 20系统。
• 实现摊销推理：训练完成后，网络可快速、顺序地执行滤波，无需在推理时求解昂贵的优化问题。

实验结果

研究问题

• RQ1 在无法访问真实初始状态的情况下，自监督深度学习框架能否有效学习在混沌系统中进行同化？
• RQ2 与成熟的变分法和集合基数据同化方法相比，摊销同化在准确性和鲁棒性方面表现如何？
• RQ3 在小样本集合和高观测噪声等挑战性条件下，该方法是否仍能保持性能？
• RQ4 自监督去噪的理论基础在多大程度上可扩展至具有时变状态的动力系统？
• RQ5 该框架能否在不同类型混沌系统（包括ODEs和PDEs）之间实现泛化？

主要发现

• 摊销同化（AmEnF）在所有基准系统（包括Lorenz-96、Kuramoto-Shivashinsky和Vissio-Lucarini 20）中表现与4D-Var、LETKF和iEnKS相当或更优。
• 在小样本集合和高噪声水平下，该方法性能提升最为显著，传统方法因非线性效应和集合表征能力差而表现受限。
• 在Kuramoto-Shivashinsky PDE系统中，尽管理论假设基于ODEs，AmEnF仍实现了与最佳模型相当的精度。
• 该方法在多次重复实验中表现出强稳定性，表明其泛化能力可靠且鲁棒。
• 训练成本较高，源于重复的可微分模拟，但摊销推理速度快且可扩展，适用于实际业务预报。
• 若可提供伴随模型，该方法与传统数值模型兼容，但目前这仍是其推广应用的主要限制。