[论文解读] Generalised Latent Assimilation in Heterogeneous Reduced Spaces with Machine Learning Surrogate Models

Sibo Cheng, Jianhua Chen+6 more|arXiv (Cornell University)|Apr 7, 2022

Model Reduction and Neural Networks被引用 9

一句话总结

本文提出广义潜在融合（Generalised Latent Assimilation, GLA），一种新颖的数据同化框架，可在异质降维空间中高效实现将实时观测数据同化到机器学习代理模型中。通过使用局部多项式代理函数近似不同潜在空间之间的非线性观测算子，GLA 实现了极高的计算效率——相比完整计算流体动力学（CFD）模拟快近 1000 倍——同时在具有非线性观测算子的高维 CFD 应用中显著提升了重建与预测精度。

ABSTRACT

Reduced-order modelling and low-dimensional surrogate models generated using machine learning algorithms have been widely applied in high-dimensional dynamical systems to improve the algorithmic efficiency. In this paper, we develop a system which combines reduced-order surrogate models with a novel data assimilation (DA) technique used to incorporate real-time observations from different physical spaces. We make use of local smooth surrogate functions which link the space of encoded system variables and the one of current observations to perform variational DA with a low computational cost. The new system, named Generalised Latent Assimilation can benefit both the efficiency provided by the reduced-order modelling and the accuracy of data assimilation. A theoretical analysis of the difference between surrogate and original assimilation cost function is also provided in this paper where an upper bound, depending on the size of the local training set, is given. The new approach is tested on a high-dimensional CFD application of a two-phase liquid flow with non-linear observation operators that current Latent Assimilation methods can not handle. Numerical results demonstrate that the proposed assimilation approach can significantly improve the reconstruction and prediction accuracy of the deep learning surrogate model which is nearly 1000 times faster than the CFD simulation.

研究动机与目标

• 解决当状态变量与观测数据因物理量或自编码器架构不同而被编码在不同潜在空间时，实现高效且准确的数据同化挑战。
• 克服经典变分数据同化在直接应用于复杂、非光滑神经网络基变换算子时的计算不可行性。
• 开发一种基于代理模型的方法，实现在潜在空间中低成本、局部的观测算子近似，同时保持精度与计算效率。
• 为使用代理算子近似真实同化代价函数所引入的误差提供理论上限。
• 在具有非线性观测算子的高维两相流 CFD 问题上验证该方法，其中现有潜在融合方法失效。

提出的方法

• 该方法使用独立的自编码器（AE）将状态变量与观测数据分别压缩至不同的潜在空间，实现异质降维表示。
• 在背景状态附近构建局部多项式代理函数，以近似连接潜在状态空间与观测空间的非线性变换算子。
• 在潜在空间中使用该代理算子执行变分数据同化，最小化结合背景项与观测项的代价函数。
• 通过拉丁超立方采样（Latin Hypercube Sampling, LHS）在背景状态邻域内训练代理函数，确保局部精度与光滑性。
• 理论分析提供了真实与代理同化代价函数之间差异的上界，其依赖于局部训练集的大小。
• 该方法与递归神经网络（RNN）代理模型集成，实现在潜在空间中的动态预测，支持使用稀疏观测进行实时校正。

实验结果

研究问题

• RQ1 当使用独立自编码器将状态与观测数据压缩至不同潜在空间时，能否有效执行数据同化？
• RQ2 如何高效近似异质潜在空间之间非线性、非光滑的观测算子，以支持变分数据同化？
• RQ3 基于代理模型的同化代价函数与真实代价函数之间的理论误差界是什么？
• RQ4 所提方法是否能在高维、非线性 CFD 问题中同时实现高计算效率与提升的预测精度？
• RQ5 基于代理模型的同化性能如何依赖于局部训练集的大小与采样策略？

主要发现

• 所提出的广义潜在融合（GLA）方法可在传统潜在融合方法因潜在空间不匹配而失效的异质降维空间中实现有效的变分数据同化。
• GLA 方法相比完整 CFD 模拟实现了 1000 倍的速度提升，同时在两相流 CFD 应用中保持了高预测精度。
• 基于代理模型的观测算子近似显著降低了计算成本，实现了几乎无额外开销的实时同化。
• 推导出真实与代理同化代价函数之间误差的上界，表明误差随局部训练集增大而减小。
• 数值结果表明，GLA 显著提升了深度学习代理模型的重建与预测精度，即使在非线性观测算子下亦然。
• 该方法对非线性具有鲁棒性，可应用于状态与观测变量在物理上不同的问题，如气象或水文系统中的风速与降水数据。