[논문 리뷰] A Physics Informed Neural Network for Time-Dependent Nonlinear and Higher Order Partial Differential Equations

Revanth Mattey, Susanta Ghosh|arXiv (Cornell University)|2021. 06. 04.

Model Reduction and Neural Networks참고 문헌 31인용 수 11

한 줄 요약

이 논문은 시간에 따라 변화하는 비선형 및 고차수 편미분방정식(PDE)의 정확도를 향상시키기 위해 이전 단계의 해를 유지하면서 시간 구간을 순차적으로 재학습하는 후행 호환성 물리 기반 신경망(bc-PINN)을 제안한다. 이 방법은 표준 PINN보다 훨씬 더 높은 정확도를 달성하며, 특히 Allen-Cahn 및 Cahn-Hilliard와 같은 도전적인 방정식에서 더 적은 샘플링 점(collocation points)으로도 성능을 향상시킨다. 추가로 단계공간 재구성과 상대 잔차 손실 함수를 활용하여 성능을 더욱 향상시킨다.

ABSTRACT

A physics informed neural network (PINN) incorporates the physics of a system by satisfying its boundary value problem through a neural network's loss function. The PINN approach has shown great success in approximating the map between the solution of a partial differential equation (PDE) and its spatio-temporal input. However, for strongly non-linear and higher order partial differential equations PINN's accuracy reduces significantly. To resolve this problem, we propose a novel PINN scheme that solves the PDE sequentially over successive time segments using a single neural network. The key idea is to re-train the same neural network for solving the PDE over successive time segments while satisfying the already obtained solution for all previous time segments. Thus it is named as backward compatible PINN (bc-PINN). To illustrate the advantages of bc-PINN, we have used the Cahn Hilliard and Allen Cahn equations, which are widely used to describe phase separation and reaction diffusion systems. Our results show significant improvement in accuracy over the PINN method while using a smaller number of collocation points. Additionally, we have shown that using the phase space technique for a higher order PDE could further improve the accuracy and efficiency of the bc-PINN scheme.

연구 동기 및 목표

• 강한 비선형성과 고차수 시간에 따라 변화하는 편미분방정식(PDE)을 해결할 때 표준 물리 기반 신경망(PINN)의 정확도 저하 문제를 해결하기 위해.
• 다시 학습을 시작하지 않고도 시간 구간 간 해의 연속성을 유지할 수 있는 확장 가능한 단일 네트워크 접근법을 개발하기 위해.
• Allen-Cahn 및 Cahn-Hilliard 방정식과 같은 복잡한 PDE에 대해 정확도와 효율성을 향상시키기 위해.
• 단계공간 재구성과 상대 잔차 손실이 bc-PINN 성능에 미치는 영향을 조사하기 위해.
• 시간 구간 분할 및 샘플링 점 수에 최적의 초모수를 선택하여 계산 비용과 정확도의 균형을 맞추기 위해.

제안 방법

• bc-PINN 방법은 단일 신경망을 사용하여 시간 구간에 따라 순차적으로 PDE를 해결하며, 각 구간에서 이전 해를 유지하면서 재학습한다.
• 이전 시간 구간의 해를 손실 함수에 제약 조건으로 포함시켜 후행 호환성을 확보한다.
• PDE에 필요한 공간 및 시간 도함수를 자동 미분을 통해 계산한다.
• 단계공간 기법을 적용하여 고차수 PDE(예: Cahn-Hilliard)를 일阶 미분방정식 시스템으로 재구성함으로써 수치적 안정성과 효율성을 향상시킨다.
• 큰 잔차 값의 영향을 줄이기 위해 상대 잔차 손실 함수를 도입하여 수렴성과 정확도를 향상시킨다.
• 최적화는 ADAM을 사용한 후 LBFGS를 적용하며, 각 시간 구간에 맞게 학습률과 정지 기준을 조정한다.

실험 결과

연구 질문

• RQ1 비선형성과 고차수 PDE를 해결하기 위해 단일 신경망을 순차적으로 시간 구간에 걸쳐 재학습하는 것이 효과적인가?
• RQ2 Allen-Cahn 및 Cahn-Hilliard와 같은 강한 비선형성의 PDE에서 bc-PINN의 후행 호환성은 표준 PINN에 비해 정확도를 얼마나 향상시키는가?
• RQ3 단계공간 재구성 기법이 bc-PINN에서 계산 비용을 얼마나 줄이고 정확도를 얼마나 향상시키는가?
• RQ4 bc-PINN에서 상대 잔차 손실을 사용할 경우 표준 MSE 손실에 비해 수렴성이 향상되고 오차가 감소하는가?
• RQ5 정확도와 계산 비용의 균형을 맞추기 위해 시간 구간 크기, 샘플링 점 수, 반복 횟수 등의 최적 초모수 조합은 무엇인가?

주요 결과

• Allen-Cahn 방정식에서 bc-PINN는 t=0.25 시점에서 상대 오차를 0.03으로 줄였고, 표준 PINN의 0.9919에 비해 정확도가 97% 향상되었다.
• 상대 잔차 손실을 사용한 bc-PINN는 상대 오차 0.03을 달성하여 표준 bc-PINN(0.0701)보다 더 높은 정확도를 확보하여 큰 잔차 값에 대한 강인성을 향상시켰다.
• Cahn-Hilliard 방정식에 단계공간 재구성 기법을 적용하면 도함수 계산 시간이 크게 감소하고 해의 정확도가 향상된다.
• Cahn-Hilliard 방정식에 대한 최적 초모수는 1개 구간당 10개의 시간 단계, 5000개의 샘플링 점, 1개 구간당 10,000회 ADAM 반복로 설정되었으며, 이는 정확도와 계산 비용의 균형을 잘 맞춘 것이다.
• bc-PINN 방법은 해와 그 도함수 모두 시간 구간 간에 연속성을 유지하여 물리적 일관성을 확보한다.
• 시간 구간 분할에도 불구하고 bc-PINN는 단일 신경망만을 사용하여 다중 네트워크 또는 다단계 아키텍처의 복잡성을 피한다.