[논문 리뷰] Physics-Informed Neural Networks and Extensions

Maziar Raissi, Paris Perdikaris외 2명|arXiv (Cornell University)|2024. 08. 29.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 Physics-Informed Neural Networks(PINNs)를 검토하고, 적응 가중치, 도메인 분해, 장시간 적분 등 확장을 조사하며, 기계학습으로 지배 방정식을 발견하는 데이터-주도 예시를 제시합니다. 또한 당화적 보조 진술의 예시로 당-글루코시드 발효 진동자에서의 심볼릭 회귀를 포함합니다.

ABSTRACT

In this paper, we review the new method Physics-Informed Neural Networks (PINNs) that has become the main pillar in scientific machine learning, we present recent practical extensions, and provide a specific example in data-driven discovery of governing differential equations.

연구 동기 및 목표

• 데이터와 알려진 물리를 통합하여 전방/역 문제를 해결하고 누락된 물리를 발견하기 위한 프레임워크로 PINN을 동기화한다.
• 훈련, 확장성 및 다스케일 및 확률론적 문제에 대한 적용성을 개선하는 확장들을 요약한다.
• PINN 기반 방법을 사용한 동적 시스템 및 지배 방정식의 데이터-주도 발견을 설명한다.
• PINN의 이론적 기초와 실용적 한계에 대한 논의와 향후 연구 전망을 제공한다.

제안 방법

• PDE 잔차에서 파생된 물리 기반 손실 항으로 신경망을 정규화하는 방법을 설명한다.
• NTK 기반 보정 및 완전히 학습 가능한 점별 가중치를 포함한 적응 손실 가중화 기술을 도입한다.
• 다중 스케일 문제를 위한 도메인 분해 접근법(CPINN, XPINN) 및 hp-VPINN를 논의한다.
• 시간-스윕(collocation) 및 전이 학습을 포함한 장시간 적분 및 인과성 기반 학습 접근을 제시한다.
• 혼합 잔차를 활용한 확률적 및 분수 차 PDE에 PINN 기반 접근법(PI-GANs, fPINNs)을 확장한다.
• 다중단계 시간적 스텝과 신경망 및 심볼릭 회귀를 결합하여 동적 시스템의 데이터 기반 발견을 보여준다.
• 다중스텝 방법과 심볼릭 회귀(PySR)를 이용하여 지배 방정식을 회복하고 여러 ODE 항의 상대 오차를 낮춘 데이터 기반 예제를 제공한다.

Figure 1: Schematic to illustrate three possible categories of physical problems and associated available data: Physics-informed neural networks can integrate seamlessly data and parameterized PDEs, including models with missing physics, in a unified way expressed compactly using automatic different

실험 결과

연구 질문

• RQ1 물리 정보 손실을 사용하여 부분적이거나 노이즈가 있는 데이터로 PDE 해와 미지 파라미터를 학습할 수 있는가?
• RQ2 PINN을 다중 스케일, 확률적, 또는 분수 PDE로 확장하면서도 계산 효율성을 유지할 수 있는가?
• RQ3 데이터로부터 지배 방정식을 발견하는 데 PINN을 사용할 수 있는가, 그리고 심볼릭 회귀가 정확한 해석적 형태를 식별하는 데 얼마나 효과적인가?
• RQ4 장시간 적분과 대규모 영역에 대해 PINN의 학습 안정성, 수렴성 및 확장성을 향상시키는 전략은 무엇인가?

주요 결과

Eq.	PySR	True Expression	RE
1st ODE	2.6-\frac{100S_{1}S_{6}}{38.3S_{6}^{3}-33.7S_{6}^{2}+10.5S_{6}}	2.5-\frac{100S_{1}S_{6}}{1+\left(\frac{S_{6}}{0.52}\right)^{4}}	8.04e-02
7th ODE	1.3S_{4}-3.1S_{7}	1.3S_{4}-3.1S_{7}	0.00
Part of 5th ODE	5.99S_{2}-18.0S_{2}S_{5}	6.0S_{2}-18.0S_{2}S_{5}	3.38e-03

• PINN은 정확한 PDE 해에 수렴할 수 있으며 격자 기반 이산화 없이도 잘못 정의된 전달/역 문제를 처리할 수 있다.
• 적응 가중치, 도메인 분해(CPINN/XPINN) 및 hp-VPINN 같은 확장은 다스케일 문제의 확장성 및 효율성을 향상시킨다.
• 확률적 및 분수 PDE도 PINN 기반 접근(PI-GANs, fPINNs)을 통해 불확실성 정량화 및 비정상적 전파를 다룰 수 있다.
• 인과성 기반 손실 구성 및 시간-스윕 전략으로 장시간 적분 문제의 도전을 완화하고 시간적 병렬 분할을 가능하게 한다.
• 데이터 기반의 당-글루코시드 발효 진동자 예제는 다단계 방법과 PySR 심볼릭 회귀를 이용해 동역학을 학습하고 지배 방정식을 회복하며 여러 ODE 항에 대해 상대 오차를 낮춘다.
• 이론적 연구는 특정 PDE 계에서 PINN의 수렴 결과를 제시하고 특정 조건 하에서 일반화 오차 추정치를 제공한다.

Figure 2: Basic structure of PINN for conservation laws. The left (physics uninformed) network represents the PDE solution “U(x,t)” while the right (physics informed) network describes the PDE residual “F(x,t)”. Currently, optimization is done by a human-in-the-loop empirically based on trial and er