[论文解读] Accelerating high order discontinuous Galerkin solvers using neural networks: 3D compressible Navier-Stokes equations

Fernando Manrique de Lara, Esteban Ferrer|arXiv (Cornell University)|Jul 23, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出通过使用深度神经网络学习低阶DG模拟的校正源项，以加速三维可压缩Navier-Stokes方程的高阶间断伽辽金（DG）模拟。在短时间窗口内的高阶数据上进行训练后，该神经网络使多项式阶数为3的模拟达到与阶数为6的模拟相当的精度，计算成本降低4–5倍，同时在雷诺数为30、200和1600的层流、过渡流和湍流状态下保持高精度。

ABSTRACT

We propose to accelerate a high order discontinuous Galerkin solver using neural networks. We include a corrective forcing to a low polynomial order simulation to enhance its accuracy. The forcing is obtained by training a deep fully connected neural network, using a high polynomial order simulation but only for a short time frame. With this corrective forcing, we can run the low polynomial order simulation faster (with large time steps and low cost per time step) while improving its accuracy. We explored this idea for a 1D Burgers' equation in (Marique and Ferrer, CAF 2022), and we have extended this work to the 3D Navier-Stokes equations, with and without a Large Eddy Simulation closure model. We test the methodology with the turbulent Taylor Green Vortex case and for various Reynolds numbers (30, 200 and 1600). In addition, the Taylor Green Vortex evolves with time and covers laminar, transitional, and turbulent regimes, as time progresses. The proposed methodology proves to be applicable to a variety of flows and regimes. The results show that the corrective forcing is effective in all Reynolds numbers and time frames (excluding the initial flow development). We can train the corrective forcing with a polynomial order of 8, to increase the accuracy of simulations from a polynomial order 3 to 6, when correcting outside the training time frame. The low order correct solution is 4 to 5 times faster than a simulation with comparable accuracy (polynomial order 6). Additionally, we explore changes in the hyperparameters and use transfer learning to speed up the training. We observe that it is not useful to train a corrective forcing using a different flow condition. However, an already trained corrective forcing can be used to initialise a new training (at the correct flow conditions) to obtain an effective forcing with only a few training iterations.

研究动机与目标

• 在不牺牲精度的前提下，加速三维可压缩Navier-Stokes方程的高阶间断伽辽金（DG）求解器。
• 通过使用神经网络学习的校正源项，降低多项式阶数的模拟计算成本。
• 将先前针对一维Burgers方程的方法扩展至三维湍流流动，涵盖过渡流和完全湍流状态。
• 评估校正源项在不同雷诺数和流动状态下的有效性。
• 研究超参数敏感性及迁移学习，以加快校正网络的训练速度。

提出的方法

• 在短时间范围内，基于高阶DG模拟数据训练一个深度全连接神经网络，以学习校正源项。
• 将训练好的神经网络源项应用于低阶DG模拟（多项式阶数为3），以提升其精度至接近高阶（阶数为6）的解。
• 利用校正源项实现更大的时间步长并减少自由度，从而加速低阶模拟。
• 实施后处理滤波步骤，以提高解的质量并减少数值振荡。
• 基于控制方程的雅可比矩阵和神经网络对误差传播的敏感性，使用线性化方程建模误差动力学。
• 通过在新流动条件下使用预训练的源模型初始化新网络，实现迁移学习，以减少训练迭代次数。

实验结果

研究问题

• RQ1 神经网络学习的校正源项能否有效提升三维可压缩Navier-Stokes方程低阶DG模拟的精度？
• RQ2 校正源项在训练时间窗口之外以及在不同雷诺数下，其精度保持程度如何？
• RQ3 该方法在不同流动状态（包括层流、过渡流和湍流）下的表现如何？
• RQ4 当应用于新流动条件时，迁移学习能否显著缩短校正网络的训练时间？
• RQ5 超参数选择对校正源项网络性能和泛化能力的影响如何？

主要发现

• 在高阶数据（多项式阶数为8）上训练的校正源项，成功将低阶模拟（阶数为3）的精度提升至与阶数为6的模拟相当，即使在训练时间窗口之外也保持有效。
• 经过校正的低阶模拟比标准的阶数为6的DG模拟快4至5倍，且精度相近。
• 该方法在所有测试的雷诺数（30、200和1600）下均有效，涵盖层流、过渡流和湍流流动状态。
• 迁移学习可实现高效训练，仅需少数迭代即可在正确流动条件下完成初始化。
• 在不同流动条件下进行校正源项训练无明显帮助，但复用预训练模型作为初始权重可显著加速收敛。
• 误差分析表明，神经网络源项有效减少了主要误差来源（缺失的亚格子尺度源项），并稳定了解的演化，误差增长受系统雅可比矩阵与神经网络敏感性共同决定的有效系数所限制。