[論文レビュー] Accelerating high order discontinuous Galerkin solvers using neural networks: 3D compressible Navier-Stokes equations

Fernando Manrique de Lara, Esteban Ferrer|arXiv (Cornell University)|Jul 23, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本論文では、3次元圧縮性ナビエ＝ストークス方程式の高次不連続ガラーキン（DG）シミュレーションを高速化するために、低次DGシミュレーションの補正力項を学習する深層ニューラルネットワークを用いる手法を提案する。短い時間窓内で高次データで訓練されたニューラルネットワークにより、多項式次数3のシミュレーションが次数6に匹敵する精度に達し、計算コストを4–5倍低減しつつ、レイノルズ数30、200、1600における層流、遷移、乱流の各状態でも精度を維持することができる。

ABSTRACT

We propose to accelerate a high order discontinuous Galerkin solver using neural networks. We include a corrective forcing to a low polynomial order simulation to enhance its accuracy. The forcing is obtained by training a deep fully connected neural network, using a high polynomial order simulation but only for a short time frame. With this corrective forcing, we can run the low polynomial order simulation faster (with large time steps and low cost per time step) while improving its accuracy. We explored this idea for a 1D Burgers' equation in (Marique and Ferrer, CAF 2022), and we have extended this work to the 3D Navier-Stokes equations, with and without a Large Eddy Simulation closure model. We test the methodology with the turbulent Taylor Green Vortex case and for various Reynolds numbers (30, 200 and 1600). In addition, the Taylor Green Vortex evolves with time and covers laminar, transitional, and turbulent regimes, as time progresses. The proposed methodology proves to be applicable to a variety of flows and regimes. The results show that the corrective forcing is effective in all Reynolds numbers and time frames (excluding the initial flow development). We can train the corrective forcing with a polynomial order of 8, to increase the accuracy of simulations from a polynomial order 3 to 6, when correcting outside the training time frame. The low order correct solution is 4 to 5 times faster than a simulation with comparable accuracy (polynomial order 6). Additionally, we explore changes in the hyperparameters and use transfer learning to speed up the training. We observe that it is not useful to train a corrective forcing using a different flow condition. However, an already trained corrective forcing can be used to initialise a new training (at the correct flow conditions) to obtain an effective forcing with only a few training iterations.

研究の動機と目的

• 高次不連続ガラーキン（DG）ソルバーを、精度を損なわずに3次元圧縮性ナビエ＝ストークス方程式のシミュレーションを高速化すること。
• 低次の多項式次数を用いたシミュレーションと、ニューラルネットワークで学習した補正力項を組み合わせることで、計算コストを低減すること。
• 先行研究の1次元バーガーズ方程式手法を3次元乱流流れに拡張し、遷移および完全乱流状態を含む。
• 補正力項の有効性を、さまざまなレイノルズ数および流れの状態で評価すること。
• ハイパーパrameterの感度と転移学習を調査し、補正ネットワークの訓練をより迅速化すること。

提案手法

• 高次DGシミュレーションデータを短時間窓内で訓練し、補正力項を学習する深層全結合ニューラルネットワークを構築する。
• 訓練済みのニューラルネットワークを用いて、低次DGシミュレーション（多項式次数3）の精度を高次（次数6）の解に近づける。
• 補正力項を用いて、より大きな時間刻みを許容し、自由度を削減することで、低次シミュレーションの高速化を実現する。
• 解の品質を向上させ、数値的振動を低減するために、後処理フィルタリングステップを導入する。
• 支配方程式のヤコビアンとニューラルネットワークの感度に基づく線形化方程式を用いて、誤差伝播を推定し、誤差ダイナミクスをモデル化する。
• 新しい流れ条件に適応する際、事前に訓練済みの力項モデルを初期値として用いることで、転移学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークで学習した補正力項は、3次元圧縮性ナビエ＝ストークス方程式の低次DGシミュレーションの精度を効果的に向上させることができるか？
• RQ2 補正力項は、訓練時間窓を越えて、およびさまざまなレイノルズ数においても精度を維持するのか？
• RQ3 本手法は、層流、遷移、乱流状態を含むさまざまな流れの状態で、どのように性能を発揮するのか？
• RQ4 転移学習を用いることで、新しい流れ条件に適用する際の補正ネットワークの訓練時間を短縮できるか？
• RQ5 ハイパーパrameterの選択が、補正力項ネットワークの性能と一般化能力に与える影響は何か？

主な発見

• 多項式次数8の高次データで訓練された補正力項は、次数3の低次シミュレーションを、訓練時間窓外でも次数6のシミュレーションと同等の精度に向上させることに成功した。
• 低次補正シミュレーションは、標準の次数6 DGシミュレーションと同等の精度で、4～5倍の高速化を達成した。
• 本手法は、テストされた全レイノルズ数（30、200、1600）において、層流、遷移、乱流の各流れ状態で有効であった。
• 転移学習により、適切な流れ条件での事前訓練済みモデルを初期値として用いることで、数回のイテレーションで効果的な訓練が可能になった。
• 異なる流れ条件で補正力項を再訓練することは効果が薄いが、事前訓練済みモデルを初期値として再利用することで、収束が著しく高速化された。
• 誤差解析の結果、ニューラルネットワークによる力項が、主要な誤差要因（サブグリッドスケール力項の欠落）を低減し、解を安定化させた。誤差の増大は、システムのヤコビアンとNNの感度から導かれた有効係数によって制限されていた。