[논문 리뷰] Variational Physics-Informed Neural Networks For Solving Partial Differential Equations

Ehsan Kharazmi, Zhongqiang Zhang외 1명|arXiv (Cornell University)|2019. 11. 27.

Model Reduction and Neural Networks참고 문헌 31인용 수 197

한 줄 요약

VPINN을 소개하는, a Petrov-Galerkin variational formulation of physics-informed neural networks를 결합한 방법으로, 신경망을 trial space로 사용하고 Legendre test functions를 이용하여 PINNs보다 더 효율적이고 정확하게 PDE를 해결한다.

ABSTRACT

Physics-informed neural networks (PINNs) [31] use automatic differentiation to solve partial differential equations (PDEs) by penalizing the PDE in the loss function at a random set of points in the domain of interest. Here, we develop a Petrov-Galerkin version of PINNs based on the nonlinear approximation of deep neural networks (DNNs) by selecting the {\em trial space} to be the space of neural networks and the {\em test space} to be the space of Legendre polynomials. We formulate the extit{variational residual} of the PDE using the DNN approximation by incorporating the variational form of the problem into the loss function of the network and construct a extit{variational physics-informed neural network} (VPINN). By integrating by parts the integrand in the variational form, we lower the order of the differential operators represented by the neural networks, hence effectively reducing the training cost in VPINNs while increasing their accuracy compared to PINNs that essentially employ delta test functions. For shallow networks with one hidden layer, we analytically obtain explicit forms of the extit{variational residual}. We demonstrate the performance of the new formulation for several examples that show clear advantages of VPINNs over PINNs in terms of both accuracy and speed.

연구 동기 및 목표

• PDE의 변분(약식) 형태를 신경망 기반 솔버에 도입하여 강형 PINN보다 정확도와 효율성을 향상시킨다.
• 적분에 의한 부분적(연산자 차수 감소)을 통해 연속성 요구사항과 학습 비용을 낮춘다.
• 얕은 네트워크에 대해 해석적 분석이 가능한 형태를 제공하고 도메인 분할과 국소 학습을 촉진한다.
• 대표적인 PDE에서 VPINN의 성능을 시연하고 PINN과 비교한다.
• 간단한 네트워크 설정에서 변분 잔여의 해석적 표현식을 제공하여 방법을 밝힌다.

제안 방법

• PDE를 변분(약식) 형태로 정식화하고 잔여를 신경망 프레임워크 내의 테스트 함수 집합으로 벌칙화한다.
• 해석 공간으로는 깊은 신경망(trial space)을 사용하고, 별도의 선형 테스트 공간(예: Legendre 다항식 또는 사인 함수)을 사용한다.
• PDE 연산자와 테스트 함수의 내적을 이용해 변분 잔여를 구성하고 이를 변분 손실 L^v를 통해 강제한다.
• 잔여의 차수를 낮추기 위해 부분적 적분을 사용해 규칙성 요구사항과 학습 비용을 낮춘다.
• 얕은 네트워크의 경우 변분 잔여의 명시적 해석적 형태를 도출하고, 더 깊은 네트워크의 경우 적분을 수치적으로 구한다.
• 여러 가지 변분 잔여 형태(Rk^(1), Rk^(2), Rk^(3))와 이들이 손실 구성 및 경계 처리에 미치는 영향을 논의한다.

실험 결과

연구 질문

• RQ1 variational(약식) 형태가 신경망 PDE 해솔의 학습 효율과 정확도에 대해 strong-form PINN과 비교하여 어떤 영향을 미치는가?
• RQ2 Petrov-Galerkin VPINN 프레임워크가 연산 차수와 계산 비용을 줄이면서 해의 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 간단한 얕은 VPINN 구성에서 변분 잔여의 해석적 형태와 수치적 고려사항은 무엇인가?
• RQ4 테스트 함수 선택과 경계 처리 방식이 VPINN의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 도메인 분할과 국소 테스트 공간이 VPINN 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• VPINN은 증가된 정확도와 속도를 PINN보다 향상시키는 경향을 보이며, 이는 연산 차수 감소와 페널티 포인트의 감소 때문입니다.
• 얕은 네트워크에서 특정 활성화 함수에 대해 변분 잔여를 해석적으로 도출할 수 있어 방법의 용이성을 보여준다.
• 경계 조건을 페널티로 포함하는 변분 형태는 적절한 페널티 매개변수를 선택하면 높은 정확도를 달성할 수 있다.
• 사인 활성화 및 사인 테스트 함수가 있는 얕은 VPINN에서 Burger 방정식 테스트 시 명시적 잔여 표현식과 경쟁력 있는 오차를 제공한다.
• 경계 처리 및 최적화 동작(초기화, 페널티 매개변수)이 VPINN의 수렴성과 정확도에 크게 영향을 준다.