[논문 리뷰] Accelerating high order discontinuous Galerkin solvers using neural networks: 3D compressible Navier-Stokes equations

Fernando Manrique de Lara, Esteban Ferrer|arXiv (Cornell University)|2022. 07. 23.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 3D 압축성 나비에-스토크스 방정식의 고차수 불연속 갈레르킨(DG) 시뮬레이션을 가속화하기 위해, 저차수 DG 시뮬레이션에 대한 수정 강제항을 학습하는 딥 뉴럴 네트워크를 사용한다. 짧은 시간 창 동안 고차수 데이터로 훈련된 신경망은 다항식 차수 3의 시뮬레이션에서 고차수(차수 6) 수준의 정확도를 달성하게 하여 계산 비용을 4–5배 감소시키며, 레이놀즈 수 30, 200, 1600에서 난류, 전이, 난류 영역을 모두 포함한 다양한 흐름 상태에서 정확도를 유지한다.

ABSTRACT

We propose to accelerate a high order discontinuous Galerkin solver using neural networks. We include a corrective forcing to a low polynomial order simulation to enhance its accuracy. The forcing is obtained by training a deep fully connected neural network, using a high polynomial order simulation but only for a short time frame. With this corrective forcing, we can run the low polynomial order simulation faster (with large time steps and low cost per time step) while improving its accuracy. We explored this idea for a 1D Burgers' equation in (Marique and Ferrer, CAF 2022), and we have extended this work to the 3D Navier-Stokes equations, with and without a Large Eddy Simulation closure model. We test the methodology with the turbulent Taylor Green Vortex case and for various Reynolds numbers (30, 200 and 1600). In addition, the Taylor Green Vortex evolves with time and covers laminar, transitional, and turbulent regimes, as time progresses. The proposed methodology proves to be applicable to a variety of flows and regimes. The results show that the corrective forcing is effective in all Reynolds numbers and time frames (excluding the initial flow development). We can train the corrective forcing with a polynomial order of 8, to increase the accuracy of simulations from a polynomial order 3 to 6, when correcting outside the training time frame. The low order correct solution is 4 to 5 times faster than a simulation with comparable accuracy (polynomial order 6). Additionally, we explore changes in the hyperparameters and use transfer learning to speed up the training. We observe that it is not useful to train a corrective forcing using a different flow condition. However, an already trained corrective forcing can be used to initialise a new training (at the correct flow conditions) to obtain an effective forcing with only a few training iterations.

연구 동기 및 목표

• 고차수 불연속 갈레르킨(DG) 해법기를 3D 압축성 나비에-스토크스 방정식에 적용할 때 정확도를 희생시키지 않고 가속화하는 것.
• 저차수 다항식 차수를 사용하는 시뮬레이션에 신경망으로 학습한 수정 강제항을 적용하여 계산 비용을 감소시키는 것.
• 이전의 1D 버거스 방정식 방법론을 3D 난류 흐름, 즉 전이 및 완전한 난류 영역으로 확장하는 것.
• 수정 강제항의 효과를 다양한 레이놀즈 수와 흐름 상태에서 평가하는 것.
• 초기화 조건에 대한 하이퍼파rameter 민감도 및 전이 학습을 통해 수정 네트워크의 훈련 시간을 단축시키는 것.

제안 방법

• 짧은 시간 창 동안 고차수 DG 시뮬레이션 데이터를 기반으로 딥 신경망(완전 연결형)을 훈련하여 수정 강제항을 학습한다.
• 훈련된 신경망 강제항을 저차수 DG 시뮬레이션(다항식 차수 3)에 적용하여 고차수(차수 6) 해에 가까운 정확도를 향상시킨다.
• 수정 강제항을 통해 더 큰 시간 간격을 허용하고 자유도를 감소시켜 저차수 시뮬레이션의 가속화를 달성한다.
• 해결 품질 향상과 수치 진동 감소를 위해 후처리 필터링 단계를 구현한다.
• 기본 방정식의 야코비안과 신경망의 민감도를 기반으로 선형화된 방정식을 사용해 오차 동역학을 모델링하고 오차 전파를 추정한다.
• 기존의 훈련된 강제항 모델을 새로운 흐름 조건에서 초기화하여 새로운 네트워크를 초기화함으로써 전이 학습을 활용한다.

실험 결과

연구 질문

• RQ1 신경망으로 학습한 수정 강제항은 3D 압축성 나비에-스토크스 방정식의 저차수 DG 시뮬레이션 정확도를 효과적으로 향상시킬 수 있는가?
• RQ2 수정 강제항은 훈련 시간 창을 초월하거나 다양한 레이놀즈 수에서 정확도를 유지하는가?
• RQ3 이 방법은 난류 상태, 전이 상태, 난류 상태를 포함한 다양한 흐름 상태에서 어떻게 성능을 발휘하는가?
• RQ4 전이 학습을 통해 새로운 흐름 조건에 적용할 때 수정 강제항 네트워크의 훈련 시간을 줄일 수 있는가?
• RQ5 하이퍼파rameter 선택이 수정 강제항 네트워크의 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 다항식 차수 8에서 훈련된 수정 강제항은 저차수 시뮬레이션(차수 3)의 정확도를 고차수(차수 6) 수준으로 향상시키며, 훈련 시간 창 외부에서도 유사한 정확도를 유지한다.
• 저차수 수정 시뮬레이션은 표준 차수 6 DG 시뮬레이션과 유사한 정확도를 유지하면서도 4~5배 더 빠르게 실행된다.
• 모든 테스트된 레이놀즈 수(30, 200, 1600)에서 난류, 전이, 난류 흐름 영역 모두에서 이 방법이 효과적이다.
• 전이 학습을 통해 새로운 흐름 조건에서 정확한 흐름 조건에서 사전 훈련된 모델을 초기화하면 몇 번의 반복만으로도 효과적인 훈련이 가능하다.
• 다른 흐름 조건에서 수정 강제항을 훈련하는 것은 유의미하지 않지만, 사전 훈련된 모델을 시작점으로 재사용하면 수렴 속도가 크게 향상된다.
• 오차 분석 결과, 신경망 강제항은 주요 오차 원인(미흡한 서브그리드 스케일 강제항)을 감소시키고 해를 안정화시키며, 시스템의 야코비안과 신경망 민감도로부터 유도된 효과 계수에 의해 오차 성장이 제한됨을 보여준다.