[논문 리뷰] Physics Informed Deep Learning (Part II): Data-driven Discovery of Nonlinear Partial Differential Equations

Maziar Raissi, Paris Perdikaris외 1명|arXiv (Cornell University)|2017. 11. 28.

Model Reduction and Neural Networks인용 수 316

한 줄 요약

저자들은 물리 정보를 이용한 신경망(PINNs)을 이용해 데이터 기반으로 비선형 PDE를 발견하며, 연속 시간 및 이산 시간 공식화를 사용해 스페이시오-템포럴 도메인에서 데이터가 희박하거나 노이즈일 때 지배 방정식을 식별한다.

ABSTRACT

We introduce physics informed neural networks -- neural networks that are trained to solve supervised learning tasks while respecting any given law of physics described by general nonlinear partial differential equations. In this second part of our two-part treatise, we focus on the problem of data-driven discovery of partial differential equations. Depending on whether the available data is scattered in space-time or arranged in fixed temporal snapshots, we introduce two main classes of algorithms, namely continuous time and discrete time models. The effectiveness of our approach is demonstrated using a wide range of benchmark problems in mathematical physics, including conservation laws, incompressible fluid flow, and the propagation of nonlinear shallow-water waves.

연구 동기 및 목표

• 알 수 없는 매개변수 하에서 비선형 PDE의 데이터 기반 발견을 고취하고 형식화한다.
• 데이터로부터 PDE 연산자와 매개변수를 추정하기 위해 연속 시간 및 이산 시간 PINN 프레임워크를 개발한다.
• 벤치마크(Burgers’, Navier–Stokes, KdV) 전반에서 노이즈 및 데이터 희소성에 대한 강건성을 시연한다.
• 부분 데이터로부터 전체 상태 및 보조량(예: 압력)을 회복할 수 있는 PINN을 보여준다.

제안 방법

• 상태 u(t,x)을 신경망으로 표현하고 PDE 잔여 f := u_t + N[u; lambda]를 자동 미분으로 강제한다.
• 데이터 오차와 collocation 포인트에서의 PDE 잔여를 결합한 손실(MSE_u + MSE_f)을 최소화하여 학습한다.
• Navier–Stokes의 경우 연속성을 강제하고 f, g 잔여에서 lambda를 해를 구하여 속도 성분과 압력을 함께 학습한다.
• 이산 시간에서는 Runge-Kutta 시간 보정을 사용해 두 시점의 스냅샷을 연결하고 두 스냅샷에 대해 SSE를 최소화하여 Runge-Kutta 단계해와 lambda를 함께 학습한다.
• Burgers’, Navier–Stokes 및 KdV 방정식에 노이즈가 있거나 데이터가 희소한 경우를 적용하여 추정 매개변수의 강건성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 알 수 없는 비선형 PDE 매개변수 lambda가 제한적이고 possibly noisy 데이터에서 정확하게 식별될 수 있는가?
• RQ2 연속 시간 및 이산 시간 PINN 공식이 어떻게 흩어진 데이터와 각각 두 시점의 데이터 스냅샷을 다루도록 설계될 수 있는가?
• RQ3 PINN이 지배 방정식뿐만 아니라 보조 필드(예: 압력)도 부분 관측으로부터 얼마나 잘 회복하는가?
• RQ4 데이터 밀도, 노이즈, 네트워크/RK 스킴 선택이 PDE 발견의 정확도와 강건성에 미치는 영향은 무엇인가?
• RQ5 고차 도함수(KdV)와 같은 문제에서 희박한 데이터에서도 기본 역학을 식별하는 프레임워크가 가능하는가?

주요 결과

• PINNs는 Burgers’ 방정식 매개변수를 높은 정확도로 식별할 수 있으며 데이터 노이즈가 최대 10%까지도 견딜 수 있다.
• Navier–Stokes 매개변수 회복은 노이즈 하에서 lambda1의 오차를 0.2% 미만, lambda2는 약 5~6%로 달성한다.
• 속도 데이터만으로 Navier–Stokes에서 압력장을 질적으로 회복할 수 있으며, 덧셈 상수 하나를 더한 값으로 가능하다.
• Runge-Kutta 형식을 사용하는 이산 시간 PINN은 노이즈와 큰 간격에도 불구하고 두 개의 서로 떨어진 스냅샷에서 정확한 매개변수 회복을 가능하게 한다.
• KdV 예제는 노이즈가 있는 희박한 스냅샷에서도 고차 PDE의 매개변수를 정확하게 회복함을 보여준다.
• 전반적으로 물리 정보를 활용한 학습은 예측 모델링, 제어 및 최적화를 위한 정확하고 미분 가능한 대리 모형을 제공한다.