[논문 리뷰] Self-adaptive loss balanced Physics-informed neural networks for the incompressible Navier-Stokes equations

Zixue Xiang, Wei Peng외 3명|arXiv (Cornell University)|2021. 04. 13.

Model Reduction and Neural Networks참고 문헌 52인용 수 26

한 줄 요약

이 논문은 lbPINNs를 도입합니다. 이는 비압축성 Navier–Stokes 방정식을 풀기 위한 자기 적응형, 손실 균형화 물리 기반 신경망 프레임워크로, 학습 중 손실 항의 가중치를 조정하여 정확도를 향상시킵니다. 또한 baseline PINNs와 비교하여 2D Kovasznay 흐름, 2D 원통 후류, 3D Beltrami 흐름에서 우수한 결과를 입증합니다.

ABSTRACT

There have been several efforts to Physics-informed neural networks (PINNs) in the solution of the incompressible Navier-Stokes fluid. The loss function in PINNs is a weighted sum of multiple terms, including the mismatch in the observed velocity and pressure data, the boundary and initial constraints, as well as the residuals of the Navier-Stokes equations. In this paper, we observe that the weighted combination of competitive multiple loss functions plays a significant role in training PINNs effectively. We establish Gaussian probabilistic models to define the loss terms, where the noise collection describes the weight parameter for each loss term. We propose a self-adaptive loss function method, which automatically assigns the weights of losses by updating the noise parameters in each epoch based on the maximum likelihood estimation. Subsequently, we employ the self-adaptive loss balanced Physics-informed neural networks (lbPINNs) to solve the incompressible Navier-Stokes equations,\hspace{-1pt} including\hspace{-1pt} two-dimensional\hspace{-1pt} steady Kovasznay flow, two-dimensional unsteady cylinder wake, and three-dimensional unsteady Beltrami flow. Our results suggest that the accuracy of PINNs for effectively simulating complex incompressible flows is improved by adaptively appropriate weights in the loss terms. The outstanding adaptability of lbPINNs is not irrelevant to the initialization choice of noise parameters, which illustrates the robustness. The proposed method can also be employed in other problems where PINNs apply besides fluid problems.

연구 동기 및 목표

• PINN에서 비압축성 Navier-Stokes 문제의 다중 물리 기반 손실 항 간의 학습 균형 개선 필요성을 제시한다.

제안 방법

• Residuals f1 와 f2 및 다중 손실 항(PDE, BC, IC, 데이터)을 갖는 PINN 프레임워크에서 NS 방정식을 형식화한다.
• 손실 항 간의 균형을 맞추기 위해 각 항의 관측 잡음 매개변수를 포함한 가우시안 확률 모델링을 도입한다.

실험 결과

연구 질문

• RQ1 동적이고 데이터 주도적인 손실 항 가중치가 비압축성 NS 흐름에서 PINN의 정확도를 향상시킬 수 있는가?
• RQ2 적응형 손실 균형이 2D 및 3D 흐름 문제에서 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ3 lbPINNs의 성능에 대한 초기 잡음 구성의 영향과 강건성은 무엇인가?
• RQ4 lbPINNs가 대표적인 층류 및 비정상 NS 케이스에서 기본 PINNs보다 더 낮은 오차를 달성할 수 있는가?

주요 결과

• lbPINNs는 테스트 케이스에서 속도와 압력에 대해 기본 PINNs보다 상대 오차를 크게 낮춘다(일부 설정에서 1e-4에서 1e-5까지).
• 적응형 잡음 매개변수가 PDE와 경계/데이터 손실의 균형을 맞추기 위해 학습 중에 진화하며 수렴을 가속화한다.
• lbPINNs는 서로 다른 초기 잡음 설정에 대해 강건하고, 테스트된 흐름에 걸쳐 기본 PINNs보다 향상된 정확도를 유지한다.
• 2D Kovasznay 흐름의 경우 lbPINNs는 L2 오차를 약 6.4e-4에 도달하고 유사 조건에서 기본 PINNs는 4.4e-3에 머문다.
• lbPINNs는 2D 원통 후류와 3D Beltrami 흐름 시연에서 PDE 및 데이터 손실이 적응적 잡음과 함께 수렴하며 속도 및 압력 정확성이 우수하다.
• 이 방법은 손실 가중치 부여에 대한 원칙적인 접근을 제공하며 유체 역학을 넘어 다른 PINN 응용에도 확장된다.