[논문 리뷰] Solving differential equations using physics informed deep learning: a hand-on tutorial with benchmark tests

Hubert Baty, Leo Baty|arXiv (Cornell University)|2023. 02. 23.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 미분방정식을 푸는 데 사용되는 물리 법칙을 손실 함수에 직접 통합함으로써 일반 미분방정식(OEDs)을 해결하기 위한 물리 기반 신경망(PINNs)에 대한 실습 가이드를 제시한다. 약간의 비선형성만 있는 문제에서는 극소량의 데이터로도 정확한 해를 달성하지만, 반면 반도체 진동자(Van der Pol)와 같은 강한 비선형 시스템의 경우 훈련에 매우 많은 데이터가 필요하여 자원 효율성과 일반화 능력 사이의 상충 관계를 드러낸다.

ABSTRACT

We revisit the original approach of using deep learning and neural networks to solve differential equations by incorporating the knowledge of the equation. This is done by adding a dedicated term to the loss function during the optimization procedure in the training process. The so-called physics-informed neural networks (PINNs) are tested on a variety of academic ordinary differential equations in order to highlight the benefits and drawbacks of this approach with respect to standard integration methods. We focus on the possibility to use the least possible amount of data into the training process. The principles of PINNs for solving differential equations by enforcing physical laws via penalizing terms are reviewed. A tutorial on a simple equation model illustrates how to put into practice the method for ordinary differential equations. Benchmark tests show that a very small amount of training data is sufficient to predict the solution when the non linearity of the problem is weak. However, this is not the case in strongly non linear problems where a priori knowledge of training data over some partial or the whole time integration interval is necessary.

연구 동기 및 목표

• 일반 미분방정식(OEDs)을 해결하기 위한 물리 기반 신경망(PINNs)을 구현하는 실용적이고 단계별 가이드 제공
• 증가하는 비선형성의 정도를 갖는 다양한 학술적 ODE에 대해 PINNs의 성능 평가 및 기존 수치적 통합 방법과의 비교
• PINN 훈련에 필요한 최소한의 데이터 요구 조건 조사, 특히 초기 조건과 샘플링 포인트의 역할에 집중
• 클래식한 수치 해법 대비 PINNs가 성능을 뛰어올리거나 열등한 조건을 규명하며, 자원 효율성과 수렴 속도 측면에서 분석
• 메쉬가 필요 없는 PINNs의 핵심 이점 강조와 함께 하이퍼파rameter 조정 및 훈련 안정성 문제 해결

제안 방법

• PINNs는 데이터 일치성(감독 손실)과 물리 일관성(미분방정식 잔여항)을 결합한 복합 손실 함수를 최소화하여 훈련된다.
• 물리적 손실은 정의역 전역에 분포된 샘플링 포인트에서 계산되며, 신경망 해가 이 포인트들에서 미분방정식을 만족하도록 강제한다.
• 입력 변수(예: 시간)에 대한 출력의 도함수를 정확하게 계산하기 위해 자동 미분 기법을 사용한다.
• 입력층은 공간 및 시간 좌표를 받고, 은닉층은 비선형 근사 기능을 수행하며, 출력층은 단일 출력을 갖는 피드포워드 신경망 아키텍처를 사용한다.
• 경사 기반 최적화(예: Adam)를 사용하여 훈련하며, 학습률, 데이터 가중치, 물리 손실 가중치 등 하이퍼파rameter를 조정하여 수렴성과 정확성의 균형을 확보한다.
• 선형, 비선형, 강한 비선형(반도체 진동자 포함) 시스템을 포함한 ODE에 대해 벤치마킹을 수행하며, 정확도는 해석적 또는 고정밀 수치 해와 비교한다.

Figure 1: Schematic representation of the structure for a Physics-Informed Neural Network applied to the resolution of a differential equation. The input layer has two input variables (i.e. two neurons) noted $x_{1}$ and $x_{2}$ representing for example a space and a time coordinate respectively. Tw

실험 결과

연구 질문

• RQ1 약간의 비선형성만 있는 시스템에서, 초기 조건만을 사용한 훈련 데이터로 PINNs가 ODE를 얼마나 효과적으로 해결할 수 있는가?
• RQ2 다양한 비선형성 수준에서 PINNs가 정확한 해에 수렴하기 위해 필요한 최소한의 훈련 데이터 포인트와 샘플링 포인트 수는 얼마인가?
• RQ3 반도체 진동자에서 ε가 큰 경우처럼 ODE의 비선형성이 증가할수록 PINNs의 성능은 어떻게 저하되는가?
• RQ4 PINNs가 룬게-쿠타와 같은 전통적 수치 해법보다 자원 효율성과 해의 계산 속도 측면에서 뛰어난 성능을 보이는 경우는 어떤가?
• RQ5 특히 강한 비선형 문제에서 하이퍼파rameter 조정 및 수렴 문제의 주요 과제는 무엇인가?

주요 결과

• 약간의 비선형성을 갖는 ODE의 경우, PINNs는 3개의 초기 조건 데이터 포인트와 20~40개의 샘플링 포인트만으로도 정확한 해를 도출할 수 있으며, 기존 방법 대비 극적으로 적은 데이터를 요구한다.
• ε = 1/3인 반도체 진동자 문제에서는 48개의 샘플링 포인트와 최소한의 데이터로도 PINNs가 정확한 해에 수렴함을 입증하여 뛰어난 자원 효율성을 보였다.
• 강한 비선형성의 경우(ε = 5), 전체 시간 영역을 커버하는 상당한 양의 훈련 데이터가 없이선 PINNs가 수렴하지 못함을 확인하여 데이터 의존성이 극명하게 드러났다.
• 훈련이 완료된 후 해 예측은 즉각적으로 이루어지며, 이는 각 새로운 입력에 대해 다시 통합을 수행해야 하는 전통적 해법 대비 핵심적인 이점이다.
• 성능는 하이퍼파rameter 조정에 매우 민감하며, 자동 조정 절차가 없고, 높은 비선형성 영역에서는 수렴 문제가 발생한다.
• 한계가 있음에도 불구하고, PINNs는 메쉬가 필요 없는 장점을 유지하여 구조화된 격자가 필요 없이 전체 영역에서 해를 예측할 수 있다.

Figure 2: Tutorial solution $\hat{y_{\theta}}(t)$ (red solid line) predicted by the normal NN for $n_{t}=4000$ iterations (in left panel) and $n_{t}=24000$ iterations (in right panel) respectively, and compared to the exact solution (blue hatched line). The chosen training data set values are indica