[논문 리뷰] Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|2018. 01. 20.

Model Reduction and Neural Networks참고 문헌 28인용 수 438

한 줄 요약

이 논문은 흩어진 데이터에서 가능하면 노이즈가 있는 데이터로부터 두 개의 신경망을 사용해 PDE의 해 u와 비선형 동역학 N을 모두 학습하는 Deep Hidden Physics Models를 제안하고, PINN을 통해 여러 표준 PDE에서 정확한 발견과 예측을 보인다.

ABSTRACT

A long-standing problem at the interface of artificial intelligence and applied mathematics is to devise an algorithm capable of achieving human level or even superhuman proficiency in transforming observed data into predictive mathematical models of the physical world. In the current era of abundance of data and advanced machine learning capabilities, the natural question arises: How can we automatically uncover the underlying laws of physics from high-dimensional data generated from experiments? In this work, we put forth a deep learning approach for discovering nonlinear partial differential equations from scattered and potentially noisy observations in space and time. Specifically, we approximate the unknown solution as well as the nonlinear dynamics by two deep neural networks. The first network acts as a prior on the unknown solution and essentially enables us to avoid numerical differentiations which are inherently ill-conditioned and unstable. The second network represents the nonlinear dynamics and helps us distill the mechanisms that govern the evolution of a given spatiotemporal data-set. We test the effectiveness of our approach for several benchmark problems spanning a number of scientific domains and demonstrate how the proposed framework can help us accurately learn the underlying dynamics and forecast future states of the system. In particular, we study the Burgers', Korteweg-de Vries (KdV), Kuramoto-Sivashinsky, nonlinear Schrödinger, and Navier-Stokes equations.

연구 동기 및 목표

• First-principles 도출이 어려울 때 지배 PDE의 데이터 기반 발견을 자극한다.
• 해당 해와 비선형 동역학을 학습하기 위해 해와 동역학을 위한 두 네트워크 프레임워크를 제안한다.
• 수치 미분을 피하기 위해 신경망 사전지식과 자동 미분을 사용해 안정적인 학습을 확보한다.
• 유체 역학 및 비선형 파동 방정식을 망라하는 벤치마크 PDE들에서 접근법을 시연하고 노이즈에 대한 강건성을 평가한다.

제안 방법

• 해 u와 비선형 함수 N을 두 개의 심층 신경망으로 표현한다.
• Deep Hidden Physics Model f = u_t - N(t, x, u, u_x, u_xx, ... )를 정의한다.
• 유한 차분이 아닌 자동 미분(예: TensorFlow)을 통해 도함수를 계산한다.
• 데이터 적합도(u)와 PDE 잔차(f)를 결합한 손실을 샘플링 포인트에서 최소화하여 학습한다.
• 학습된 PDE를 물리 정보가 반영된 신경망(PINN)으로 해결하여 미래 상태를 예측한다.

실험 결과

연구 질문

• RQ1 해 해와 동역학을 위한 별도의 네트워크와 신경망 기반 해 표현이 흩어진 데이터로부터 근본적인 비선형 PDE를 식별할 수 있는가?
• RQ2 N에 포함된 도함수의 차수는 식별성, 정확도 및 경계 조건에 어떤 영향을 미치는가?
• RQ3 노이즈와 학습 영역을 벗어난 외삽에 대한 방법의 강건성은 어떠한가?
• RQ4 본 방법이 다양한 PDE(Burgers, KdV, Kuramoto–Sivashinsky, 비선형 슈뢰딩거, 나비에–스톡스)에 얼마나 잘 일반화되는가?

주요 결과

• Burgers 방정식은 학습 데이터에서 상대 L2 오차 4.78e-03으로 학습되었고 학습 부분에서 3.89e-03이다.
• 가우시안 초기조건을 가진 Burgers의 경우 학습된 PDE가 다른 데이터세트에서 상대 L2 오차 7.33e-02로 외삽한다.
• KdV 방정식의 경우 학습된 PDE가 테스트 데이터에서 상대 L2 오차 6.28e-02, 학습 부분에서 3.78e-02를 달성한다.
• 비선형 슈뢰딩거 방정식의 경우 해의 절댓값 재현에서 상대 L2 오차가 6.28e-03이다.
• Kuramoto–Sivashinsky 방정식의 경우 연구된 영역 내에서 상대 L2 오차가 7.63e-02이다.
• 나비에–스토크스 예는 2D 유동에 대한 프레임워크의 적용 가능성을 보여주고 여러 표준 PDE에 걸친 일반화 가능성을 뒷받침한다.