[논문 리뷰] FO-PINNs: A First-Order formulation for Physics Informed Neural Networks

Rini J. Gladstone, Mohammad A. Nabian외 3명|arXiv (Cornell University)|2022. 10. 25.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 두 번째 이상의 순서의 편미분방정식(PDE)을 해결할 때 정확도와 학습 속도를 향상시키기 위해 자동미분를 통해 두 번째 순서 도함수 계산을 첫 번째 순서 도함수로 대체하는 최초의 형태로, 물리학에 기반한 신경망(Fo-PINNs)을 제안한다. Fo-PINNs는 표준 PINNs에 비해 최대 2.9배 빠른 학습 속도와 한 계급 정도 낮은 검증 오차를 달성하며, 특히 매개변수화된 시스템에서 뛰어난 성능을 보이며, 근사 거리 함수를 사용해 정확한 경계 조건을 구현할 수 있다.

ABSTRACT

Physics-Informed Neural Networks (PINNs) are a class of deep learning neural networks that learn the response of a physical system without any simulation data, and only by incorporating the governing partial differential equations (PDEs) in their loss function. While PINNs are successfully used for solving forward and inverse problems, their accuracy decreases significantly for parameterized systems. PINNs also have a soft implementation of boundary conditions resulting in boundary conditions not being exactly imposed everywhere on the boundary. With these challenges at hand, we present first-order physics-informed neural networks (FO-PINNs). These are PINNs that are trained using a first-order formulation of the PDE loss function. We show that, compared to standard PINNs, FO-PINNs offer significantly higher accuracy in solving parameterized systems, and reduce time-per-iteration by removing the extra backpropagations needed to compute the second or higher-order derivatives. Additionally, FO-PINNs can enable exact imposition of boundary conditions using approximate distance functions, which pose challenges when applied on high-order PDEs. Through three examples, we demonstrate the advantages of FO-PINNs over standard PINNs in terms of accuracy and training speedup.

연구 동기 및 목표

• 표준 PINNs가 매개변수화된 고차수 PDE를 해결할 때 정확도가 떨어지는 문제를 해결하기 위해.
• PINNs에서 비용이 많이 드는 두 번째 순서 자동미분을 제거함으로써 계산 비용을 줄이기 위해.
• 근사 거리 함수를 사용해 정확한 경계 조건을 구현할 수 있도록 하기 위해.
• 고차원 매개변수 공간을 가진 복잡한 물리 시스템에 대해 일반화 능력과 학습 효율성을 향상시키기 위해.
• 계산 오버헤드를 최소화하면서도 높은 정확도를 유지하는 확장 가능한 첫 번째 순서 공식을 개발하기 위해.

제안 방법

• 해의 첫 번째 순서 도함수만을 사용하여 PDE 손실 함수를 설정함으로써 두 번째 순서 도함수를 피하기 위해.
• 고차수 항을 재구성하기 위해 공간적 첫 번째 도함수(예: u_x, u_y)를 추가로 출력하는 네트워크 출력을 도입함.
• 첫 번째 도함수의 일관성에서 유도된 추가 손실 항을 사용해 도함수의 일致성을 강제함.
• 손실 함수 내에서 근사 거리 함수를 사용해 딜레르트 경계 조건을 정확하게 구현함.
• 정확도를 희생시키지 않고 수렴 속도를 높이기 위해 자동 혼합 정밀도(AMP) 학습을 활용함.
• PDE 잔여항, 경계 조건, 도함수 일致성 제약 조건을 모두 포함한 물리 기반 손실을 사용해 네트워크를 학습함.

실험 결과

연구 질문

• RQ1 PINNs의 첫 번째 순서 공식화가 두 번째 순서 PDE에 대해 표준 PINNs와 비교해 유사하거나 더 높은 정확도를 달성할 수 있는가?
• RQ2 PINNs에서 두 번째 순서 도함수 계산을 제거하면 측정 가능한 학습 속도 향상이 발생하는가?
• RQ3 Fo-PINNs는 특히 고차수 PDE에서 근사 거리 함수를 사용해 정확한 경계 조건을 구현할 수 있는가?
• RQ4 매개변수화된 PDE 문제에서 매개변수 차원이 증가함에 따라 Fo-PINNs의 성능은 어떻게 스케일링되는가?
• RQ5 Navier-Stokes 방정식과 같은 복잡한 다중 매개변수 시스템에서도 Fo-PINNs는 높은 정확도를 유지할 수 있는가?

주요 결과

• Fo-PINNs는 역전파 오버헤드가 감소함에 따라 표준 PINNs에 비해 학습 시간이 최대 2.9배 빨라졌다.
• 매개변수화되지 않은 문제에서는 Fo-PINNs가 표준 PINNs에 비해 검증 오차를 한 계급 정도 낮췄다.
• 최대 7개의 매개변수를 가진 매개변수화된 시스템에서는 Fo-PINNs가 기준(매개변수 0개) 사례와 유사한 정확도를 유지하는 반면, 표준 PINNs는 심한 오차 악화를 보였다.
• 나비에-스토크스 예제에서 속도와 압력 예측 오차는 Fo-PINNs가 표준 PINNs보다 한 계급 정도 낮았다.
• Fo-PINNs는 근사 거리 함수를 사용해 정확한 경계 조건을 구현할 수 있었으며, 이는 표준 PINNs에서 어려운 과제였다.
• 최종 레이어에 소수의 출력 변수와 일致성 제약 조건을 추가함으로써 Fo-PINNs는 고차수 PDE로의 일반화가 가능했다.