[论文解读] DAN - An optimal Data Assimilation framework based on machine learning Recurrent Networks.

Pierre Boudier, Anthony Fillion+2 more|arXiv (Cornell University)|Oct 19, 2020

Meteorological Phenomena and Simulations参考文献 21被引用 4

一句话总结

本文提出DAN，一种深度学习框架，将循环神经网络与数据同化原理相结合，以从噪声观测中最佳地重建和预测动力系统的状态。该框架通过轨迹快照进行训练，能够精确建模概率密度函数的分析与传播，其性能与传统数据同化方法的理论最优性能相当，同时完全基于数据驱动。

ABSTRACT

Data assimilation algorithms aim at forecasting the state of a dynamical system by combining a mathematical representation of the system with noisy observations thereof. We propose a fully data driven deep learning architecture generalizing recurrent Elman networks and data assimilation algorithms which provably reaches the same prediction goals as the latter. On numerical experiments based on the well-known Lorenz system and when suitably trained using snapshots of the system trajectory (i.e. batches of state trajectories) and observations, our architecture successfully reconstructs both the analysis and the propagation of probability density functions of the system state at a given time conditioned to past observations.

研究动机与目标

• 开发一种完全基于数据驱动的深度学习架构，以同时泛化循环网络与数据同化算法。
• 在不依赖显式系统模型的情况下，实现与传统数据同化方法相当的预测精度。
• 通过端到端训练，重建基于过去观测的系统状态概率密度函数。
• 展示该框架在非线性动力系统中建模状态不确定性分析与传播的能力。

提出的方法

• 该框架基于一种改进的循环Elman网络架构，经调整以处理序列观测与状态轨迹。
• 使用状态轨迹的批次作为训练数据，学习从观测到后验状态分布的映射。
• 网络通过最小化一个损失函数进行训练，以确保与最优数据同化原理的一致性。
• 该架构整合了记忆机制，以在时间步之间传播不确定性信息，模拟数据同化的分析与预报循环。
• 训练过程利用轨迹数据中的时间依赖性，学习系统的动力学特性与观测噪声特征。
• 该方法在理论上得到证明：网络的预测结果收敛至与经典数据同化算法相同的最优解。

实验结果

研究问题

• RQ1 能否设计一种深度学习架构，以在状态估计中复现传统数据同化方法的最优性能？
• RQ2 在轨迹快照上训练的循环神经网络，能在多大程度上重建基于过去观测的系统状态完整概率密度函数？
• RQ3 纯数据驱动方法在非线性动力系统中，能否优于或至少匹配基于模型的数据同化方法？
• RQ4 为确保循环网络学习到正确的数据同化分析与预报步骤，需要哪些架构上的修改？
• RQ5 网络在建模不确定性传播方面的能力，是否与最优估计理论的理论预期相符？

主要发现

• DAN框架成功重建了基于过去观测的系统状态概率密度函数的分析与传播过程。
• 当在轨迹快照和观测数据上进行训练时，该网络实现了与最优数据同化算法相当的性能。
• 该架构通过在学习过程中嵌入数据同化的数学结构，泛化了循环Elman网络。
• 在Lorenz系统上的验证表明，该框架在建模非线性动力学方面表现出稳健性。
• 理论分析证实，网络的预测结果收敛至与经典数据同化方法相同的最优解。
• 该方法实现了状态估计与不确定性传播的端到端学习，而无需事先知晓系统的控制方程。