[论文解读] Learning Stable Galerkin Models of Turbulence with Differentiable Programming

Arvind Mohan, Kaushik Kumar Nagarajan+1 more|arXiv (Cornell University)|Jul 15, 2021

Model Reduction and Neural Networks参考文献 64被引用 6

一句话总结

该论文提出神经伽辽金投影（Neural Galerkin Projection, NeuralGP），一种可微编程框架，将神经网络嵌入基于本征正交分解（Proper Orthogonal Decomposition, POD）的伽辽金投影方程中，以学习湍流的稳定降阶模型（Reduced-Order Models, ROMs）。通过在计算流体动力学（CFD）数据上进行训练，同时保持常微分方程（ODEs）的物理结构，NeuralGP 在无需显式校准的情况下，实现了比经典 POD-伽辽金 ROM 更长且更精确的时间预测范围，这是由于通过自动微分隐式学习了稳定的系数。

ABSTRACT

Turbulent flow control has numerous applications and building reduced-order models (ROMs) of the flow and the associated feedback control laws is extremely challenging. Despite the complexity of building data-driven ROMs for turbulence, the superior representational capacity of deep neural networks has demonstrated considerable success in learning ROMs. Nevertheless, these strategies are typically devoid of physical foundations and often lack interpretability. Conversely, the Proper Orthogonal Decomposition (POD) based Galerkin projection (GP) approach for ROM has been popular in many problems owing to its theoretically consistent and explainable physical foundations. However, a key limitation is that the ordinary differential equations (ODEs) arising from GP ROMs are highly susceptible to instabilities due to truncation of POD modes and lead to deterioration in temporal predictions. In this work, we propose a extit{differentiable programming} approach that blends the strengths of both these strategies, by embedding neural networks explicitly into the GP ODE structure, termed Neural Galerkin projection. We demonstrate this approach on the isentropic Navier-Stokes equations for compressible flow over a cavity at a moderate Mach number. When provided the structure of the projected equations, we show that the Neural Galerkin approach implicitly learns stable ODE coefficients from POD coefficients and demonstrates significantly longer and accurate time horizon predictions, when compared to the classical POD-GP assisted by calibration. We observe that the key benefits of this differentiable programming-based approach include increased flexibility in physics-based learning, very low computational costs, and a significant increase in interpretability, when compared to purely data-driven neural networks.

研究动机与目标

• 解决经典基于本征正交分解的伽辽金投影（POD-GP）ROM 在湍流流动中存在不稳定性和长期预测精度差的问题。
• 将伽辽金投影的物理可解释性与深度神经网络的表征能力相结合。
• 开发一种可微编程框架，实现 ROM 系数的端到端训练，同时保持底层 ODE 结构。
• 在不依赖任意校准程序的前提下，提升压缩性腔体流场 ROM 的时间稳定性和预测准确性。

提出的方法

• 将神经网络直接嵌入伽辽金投影 ODE 的结构中，构建一种混合物理信息学习框架。
• 利用可微编程实现对整个 ROM 计算图的自动微分，支持对神经网络权重的基于梯度的优化。
• 在高保真 CFD 数据上训练神经网络，学习将 POD 系数映射到时间导数的稳定 ODE 系数函数。
• 通过保持伽辽金投影框架，确保 ROM 与纳维-斯托克斯方程保持物理一致性。
• 利用自动微分计算损失函数相对于网络参数的梯度，实现高效优化。
• 采用基于预测与实际 POD 系数时间导数之间差异的损失函数，最小化时间上的残差误差。

实验结果

研究问题

• RQ1 通过将神经网络嵌入 ODE 结构中，可微编程方法是否能够稳定湍流流动的伽辽金 ROM？
• RQ2 与经过校准的经典 POD-伽辽金 ROM 相比，所提出的神经伽辽金投影方法是否实现了更好的长期预测精度？
• RQ3 该混合方法在提升数据驱动学习能力的同时，能在多大程度上保持物理可解释性？
• RQ4 与显式校准程序相比，通过可微编程隐式学习稳定系数在鲁棒性和计算成本方面表现如何？

主要发现

• 即使未进行显式校准，神经伽辽金投影在时间预测范围和精度上均显著优于经典 POD-伽辽金 ROM。
• 该方法从 POD 数据中隐式学习到稳定的 ODE 系数，避免了标准伽辽金 ROM 中常见的数值发散问题。
• 通过保留伽辽金投影的物理结构，该框架实现了高度可解释性，与纯粹的黑箱神经网络形成鲜明对比。
• 计算成本极低，可实现实时反馈控制系统的应用。
• 该方法优于依赖任意加权因子或正则化项的校准方法，后者依赖用户设定且鲁棒性较差。
• 使用可微编程实现了端到端训练，梯度通过自动微分计算，确保了优化过程中的收敛性与稳定性。