[논문 리뷰] A mixed formulation for physics-informed neural networks as a potential solver for engineering problems in heterogeneous domains: comparison with finite element method

Shahed Rezaei, Ali Harandi외 3명|arXiv (Cornell University)|2022. 06. 27.

Model Reduction and Neural Networks참고 문헌 63인용 수 164

한 줄 요약

이 논문은 물리 기반 신경망(PINNs)을 위한 혼합 형식을 제안하며, 주요 변수와 그 공간 기울기를 별도의 신경망을 통해 별도로 예측하고, 강형 편미분방정식(PDE)과 에너지 기반 제약 조건을 통해 물리 법칙을 강제로 구현함으로써, 고차 도함수를 사용하지 않고도 일阶 도함수만을 사용한다. 이 방법은 비균질 영역에서 탄성 문제와 포아송 문제를 해결할 때 유한요소법(FEM)과 유사한 정확도를 달성하며, 복잡한 공학 문제에 대한 메쉬 기반, 데이터 기반의 솔버로서 PINNs의 잠재력을 입증한다.

ABSTRACT

Physics-informed neural networks (PINNs) are capable of finding the solution for a given boundary value problem. We employ several ideas from the finite element method (FEM) to enhance the performance of existing PINNs in engineering problems. The main contribution of the current work is to promote using the spatial gradient of the primary variable as an output from separated neural networks. Later on, the strong form which has a higher order of derivatives is applied to the spatial gradients of the primary variable as the physical constraint. In addition, the so-called energy form of the problem is applied to the primary variable as an additional constraint for training. The proposed approach only required up to first-order derivatives to construct the physical loss functions. We discuss why this point is beneficial through various comparisons between different models. The mixed formulation-based PINNs and FE methods share some similarities. While the former minimizes the PDE and its energy form at given collocation points utilizing a complex nonlinear interpolation through a neural network, the latter does the same at element nodes with the help of shape functions. We focus on heterogeneous solids to show the capability of deep learning for predicting the solution in a complex environment under different boundary conditions. The performance of the proposed PINN model is checked against the solution from FEM on two prototype problems: elasticity and the Poisson equation (steady-state diffusion problem). We concluded that by properly designing the network architecture in PINN, the deep learning model has the potential to solve the unknowns in a heterogeneous domain without any available initial data from other sources. Finally, discussions are provided on the combination of PINN and FEM for a fast and accurate design of composite materials in future developments.

연구 동기 및 목표

• 비균질 영역에서 경계값 문제를 해결하는 데 있어 물리 기반 신경망(PINNs)의 성능을 향상시키는 것.
• 주요 변수와 그 기울기용 별도의 네트워크를 도입함으로써 손실 함수에서 고차 도함수 의존도를 줄이는 것.
• 강형 PDE와 에너지 함수를 손실 항으로 함께 통합함으로써 물리적 일致성과 수렴성을 향상시키는 것.
• 기본적인 탄성 문제와 포아송 문제에 대해 제안된 혼합 PINN 접근법을 직접적으로 유한요소법(FEM)과 비교하는 것.
• 라벨이 없는 데이터나 사전 시뮬레이션 없이도 PINNs가 메쉬 기반, 비지도적 대안으로 공학 문제를 해결할 수 있는지 탐색하는 것.

제안 방법

• 주요 변수(예: 변위 또는 온도)를 위한 하나, 그 공간 기울기(예: 변형률 또는 유량)를 위한 다른 하나의 별도 신경망을 훈련한다.
• 자동 미분를 사용하여 두 번째 도함수를 계산함으로써 기울기 네트워크에 강형 PDE(예: 평형 또는 힘의 균형)를 강제로 적용한다.
• 에너지 기능(예: 총 잠재 에너지 또는 소산)을 추가 손실 항으로 도입하여 안정성과 정확도를 향상시킨다.
• 총 손실 함수를 다음의 가중치 합으로 구성한다: (1) 강형 잔여항, (2) 경계 조건(Dirichlet 및 Neumann), (3) 에너지 기능, (4) 인터페이스에서의 연속성 제약 조건.
• 도메인과 경계에 분포된 콜로케이션 점들을 사용하여 손실 항을 평가하고, Adam 최적화기를 통해 최적화한다.
• 공정한 비교를 위해 표준 PINNs와 동일한 네트워크 아키텍처(4개의 은닉층, 20개의 뉴런, tanh 활성화 함수)와 하이퍼파rameter(학습률 = 0.001)를 적용한다.

실험 결과

연구 질문

• RQ1 주요 변수와 그 기울기를 위한 별도의 네트워크를 사용하는 혼합 형식이 비균질 고체역학 문제에서 PINN 성능을 향상시키는가?
• RQ2 손실 함수에서 고차 도함수를 사용하지 않고 일阶 도함수만을 사용할 경우, 고차 도함수에 의존하는 표준 PINNs보다 수렴성과 정확도가 향상되는가?
• RQ3 탄성 문제와 정 steady 상태 확산 문제에 대해 제안된 혼합 PINN은 유한요소법(FEM)에 비해 정확도와 수렴 속도에서 어떻게 비교되는가?
• RQ4 에너지 기능을 손실 항으로 통합할 경우, 물리적 일치성과 안정성 향상에 얼마나 기여하는가?
• RQ5 제안된 PINN 프레임워크는 라벨이 없는 데이터나 사전 시뮬레이션 없이도 비균질 영역에서 복잡한 경계값 문제를 해결할 수 있는가?

주요 결과

• 주요 변수와 그 기울기를 위한 별도의 네트워크를 사용하는 혼합 PINN 형식은 2계 미분방정식을 해결할 때 표준 PINNs보다 훨씬 낮은 평균 절대 오차(MAE)를 달성한다.
• 동일한 콜로케이션 점 수와 에포크 수 조건에서, 일阶 도함수만을 사용하는 1계 미분방정식 형식이 2계 도함수를 포함하는 2계 도함수 형식보다 더 낮은 MAE를 기록하여 안정성과 정확도 향상을 입증한다.
• 콜로케이션 점 수를 10개에서 100개로 증가시킴으로써 예측의 표준편차가 감소하고 수렴성이 향상되었으며, 1계 도함수 형식은 100점 이상에서 변동성이 거의 없음을 보였다.
• 제안된 혼합 PINN은 비균질 영역에서 탄성 문제와 포아송 방정식 문제에 대해 유한요소법(FEM)과 유사한 정확도를 달성하였다.
• 에너지 기반 손실 항은 물성 불연속성 또는 복잡한 경계 조건이 존재하는 영역에서 물리적 일치성을 향상시키는 데 기여하였다.
• 이 방법은 훈련 도메인을 초월한 강력한 외삽 성능을 보였으며, 정의된 도메인 [0,10]에서 x = 15에서도 예측값이 진짜 해와 매우 가까웠다.