[논문 리뷰] Solving Partial Differential Equations with Point Source Based on Physics-Informed Neural Networks

Xiang Huang, Hongsheng Liu외 12명|arXiv (Cornell University)|2021. 11. 02.

Model Reduction and Neural Networks참고 문헌 28인용 수 12

한 줄 요약

이 논문은 포인트 소스를 Dirac 델타 함수로 모델링한 편미분방정식(PDE)을 해결하기 위해 물리 기반 신경망(PINN) 방법을 제안한다. 기존에는 이로 인해 특이성 문제가 발생하지만, 본 방법은 델타 함수를 연속적인 확률밀도함수로 근사하고, 손실 균형을 위해 하한 제약이 있는 불확실성 가중치를 도입하며, 주기적 활성화 함수를 사용하는 다중 척도 SIREN 네트워크를 적용함으로써 세 가지 벤치마크 PDE에서 높은 정확도와 수렴성을 달성한다. 이는 기존의 딥러닝 기반 접근법보다 정확도, 효율성, 유연성 면에서 뛰어나다.

ABSTRACT

In recent years, deep learning technology has been used to solve partial differential equations (PDEs), among which the physics-informed neural networks (PINNs) emerges to be a promising method for solving both forward and inverse PDE problems. PDEs with a point source that is expressed as a Dirac delta function in the governing equations are mathematical models of many physical processes. However, they cannot be solved directly by conventional PINNs method due to the singularity brought by the Dirac delta function. We propose a universal solution to tackle this problem with three novel techniques. Firstly the Dirac delta function is modeled as a continuous probability density function to eliminate the singularity; secondly a lower bound constrained uncertainty weighting algorithm is proposed to balance the PINNs losses between point source area and other areas; and thirdly a multi-scale deep neural network with periodic activation function is used to improve the accuracy and convergence speed of the PINNs method. We evaluate the proposed method with three representative PDEs, and the experimental results show that our method outperforms existing deep learning-based methods with respect to the accuracy, the efficiency and the versatility.

연구 동기 및 목표

• 포인트 소스를 갖는 PDE를 풀 때 PINN에서 발생하는 특이성 문제를 해결하기 위해.
• 변분 형태나 레이블이 없는 데이터를 요구하지 않는 보편적이고 데이터 기반의 방법을 개발하기 위해.
• 포인트 소스 영역과 도메인의 나머지 영역 간의 손실 기여도를 균형 잡음으로써 학습 안정성과 수렴성을 향상시키기 위해.
• 주기적 활성화 함수를 갖는 다중 척도 딥 신경망 아키텍처를 통해 해의 정확도와 학습 속도를 향상시키기 위해.
• 다양한 종류의 PDE에 대해 본 방법을 검증하여 그 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 특이성을 제거하기 위해 Dirac 델타 함수를 대칭 단모드 연속 확률밀도함수(Gaussian, Cauchy, Laplace 등)로 근사함.
• 포인트 소스 영역과 다른 영역 간의 손실 기여도를 동적으로 균형 잡기 위해 하한 제약이 있는 불확실성 가중치 알고리즘을 도입함으로써 소스 영역의 과소적합을 방지함.
• 다양한 주파수 성분을 포착하기 위해 다중 하위네트워크를 갖는 다중 척도 SIREN(Sine-activation neural network) 아키텍처를 사용함으로써 표현 능력을 향상시킴.
• 파동 및 전자기 PDE에서 흔한 진동 해를 더 잘 모델링하기 위해 신경망에 주기적 활성화 함수(특히 Sine)를 사용함.
• 자동 미분를 활용하여 PDE, 경계 조건 및 부드럽게 처리된 소스 항에 대한 잔차 손실을 기반으로 PINN를 훈련함.
• 하나씩 검토하는 실험을 통해 하한 ε 값과 네트워크 깊이/아키텍처 등의 하이퍼파라미터를 최적화함.

실험 결과

연구 질문

• RQ1 연속적인 Dirac 델타 함수 근사가 포인트 소스를 갖는 PDE의 PINN에서 특이성 문제를 효과적으로 해결할 수 있는가?
• RQ2 손실 가중치를 어떻게 개선하면 포인트 소스 영역과 도메인의 나머지 영역 모두에서 정확한 학습을 보장할 수 있는가?
• RQ3 주기적 활성화 함수를 갖는 다중 척도 딥 신경망 아키텍처가 포인트 소스를 갖는 PDE의 해의 정확도와 수렴 속도를 향상시키는가?
• RQ4 제안된 방법이 포아송 방정식, 맥스웰 방정식, Barry와 Mercer 문제와 같은 다양한 종류의 PDE에 대해 얼마나 일반화되는가?
• RQ5 각각의 제안 기법(부드럽게 처리하기, 불확실성 가중치, 다중 척도 아키텍처)이 전체 성능에 기여하는 비율은 어느 정도인가?

주요 결과

• 맥스웰 방정식 문제에서 제안된 방법은 $L_2$ 오차 0.017을 달성하여 기준 PINN 방법보다 뚜렷이 뛰어난 성능을 보였다.
• Gaussian 근사를 사용할 경우 $L_2$ 오차는 0.017이었고, Cauchy와 Laplace 근사는 각각 0.051과 0.025를 기록하여 부드럽게 처리하는 함수의 선택에 대해 강건함을 확인하였다.
• 하한 제약이 있는 불확실성 가중치 방법은 $\epsilon = 0.01$일 때 평균 $L_2$ 오차 0.017을 달성하여 원래의 불확실성 가중치($\epsilon = 0$) 및 동일 가중치 전략보다 우수한 성능을 보였다.
• 모든 세 가지 테스트 문제에서 Sine 활성화 함수는 ReLU와 Tanh보다 수렴 속도와 정확도 면에서 뚜렷이 뛰어났으며, 특히 진동 해를 갖는 문제에서 유리했다.
• 다중 주파수 성분을 갖는 문제(예: 맥스웰 방정식 및 포아송 방정식)에서는 다중 척도 SIREN 아키텍처가 성능 향상에 기여했지만, 단일 주파수 해를 갖는 Barry와 Mercer 문제에서는 유의미한 이점이 없었다.
• 맥스웰 방정식 문제에서 최적 성능를 달성하기 위해 부드럽게 처리하기, 불확실성 가중치, 다중 척도 아키텍처의 세 가지 기법이 모두 필요했으며, 이는 상호 보완적인 효과를 보임을 입증하였다.