[논문 리뷰] Numerical Gaussian Processes for Time-dependent and Non-linear Partial Differential Equations

Maziar Raissi, Paris Perdikaris외 1명|arXiv (Cornell University)|2017. 03. 29.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 16

한 줄 요약

이 논문은 시간에 따라 변화하고 비선형적인 편미분방정식(PDE)의 시간 이산화를 통해 구조화된 수치적 가우시안 프로세스(Numerical Gaussian Processes)를 소개한다. 이는 초기 데이터가 노이즈가 있을 경우 해의 불확실성 정량화를 가능하게 한다. 오일러 및 룬게쿠타와 같은 수치적 방법을 통해 물리 법칙을 공분산 구조에 직접 통합함으로써, 불확실성이 정량화된 확률적 해를 제공하며, 장시간 적분 동안 두 번째 차수의 정확도와 강인한 오차 전파를 달성한다.

ABSTRACT

We introduce the concept of numerical Gaussian processes, which we define as Gaussian processes with covariance functions resulting from temporal discretization of time-dependent partial differential equations. Numerical Gaussian processes, by construction, are designed to deal with cases where: (1) all we observe are noisy data on black-box initial conditions, and (2) we are interested in quantifying the uncertainty associated with such noisy data in our solutions to time-dependent partial differential equations. Our method circumvents the need for spatial discretization of the differential operators by proper placement of Gaussian process priors. This is an attempt to construct structured and data-efficient learning machines, which are explicitly informed by the underlying physics that possibly generated the observed data. The effectiveness of the proposed approach is demonstrated through several benchmark problems involving linear and nonlinear time-dependent operators. In all examples, we are able to recover accurate approximations of the latent solutions, and consistently propagate uncertainty, even in cases involving very long time integration.

연구 동기 및 목표

• 기계 학습에서 PDE로부터 유도된 물리 법칙을 구조화된 사전 정보로 통합하는 데이터 효율적인 학습 프레임워크를 개발하기 위해.
• 초기 또는 경계 데이터에 노이즈가 있을 경우 시간에 따라 변화하고 비선형적인 PDE의 해에서의 불확실성 정량화 및 전파를 위해.
• 시간 단계 스킴에서 유도된 공분산 함수를 갖는 가우시안 프로세스를 구성함으로써, 고전적 수치 해석학과 베이지안 추론을 통합하기 위해.
• 미분 연산자의 공간 이산화 없이도 확률적 PDE 해를 가능하게 하여 물리적 일관성을 유지하기 위해.
• 노이즈가 있는 관측치와 장시간 적분을 자연스럽게 처리할 수 있는 불확실성 인식 수치 방법의 기초를 마련하기 위해.

제안 방법

• 이 방법은 이전 시간 단계에서의 해에 대한 가우시안 프로세스 사전분포를 정의하며, 이는 오일러 및 룬게쿠타와 같은 시간 이산화 스킴에서 유도된 공분산 함수를 사용한다.
• 연속적인 시간 단계에서의 해 상태에 대한 결합 분포는 다중 출력 가우시안 프로세스를 이룬다. 여기서 교차 공분산은 수치적 시간 단계 스킴을 표현한다.
• 결과적으로 수치적 가우시안 프로세스는 PDE 연산자와 시간 적분 스킴을 커널 구조에 명시적으로 통합하여 물리적 일관성을 보장한다.
• 해 함수 자체에 사전분포를 직접 놓음으로써 공간 이산화를 피함으로써 비모수적 베이지안 추론을 가능하게 한다.
• 가우시안 프로세스 회귀를 사용하여 사후 평균과 분산을 계산함으로써 예측과 함께 불확실성 추정치를 제공한다.
• 이 원칙을 사례별로 적용하여 비선형 PDE에까지 확장하며, 알려진 수치적 스킴을 활용한다.

실험 결과

연구 질문

• RQ1 PDE에 담긴 물리 법칙을 기계 학습 모델에 체계적으로 구조화된 사전 정보로 통합할 수 있는가?
• RQ2 수치적 시간 적분 스킴을 확률적 프레임워크에서 공분산 함수로 재해석할 수 있는가? 이를 통해 불확실성 정량화가 가능한가?
• RQ3 초기 데이터에 노이즈가 있을 경우, 제안된 방법은 장시간 적분 동안 불확실성을 어떻게 전파하는가?
• RQ4 고전적 방법과 비교해 볼 때, 결과적으로 유도된 수치적 가우시안 프로세스의 수렴 행동과 정확도는 어떠한가?
• RQ5 이 프레임워크는 비선형성과 시간에 따라 변화하는 PDE로 일반화될 수 있는가? 안정성과 정확도를 유지할 수 있는가?

주요 결과

• 룬게쿠타 방식의 삼각형 법칙을 사용할 경우, 열 방정식에 대해 상대적 L² 오차에서 두 번째 차수의 시간 수렴성을 달성한다.
• 초기 데이터 포인트와 인위적 데이터 포인트의 수가 증가할수록 상대적 공간 L² 오차가 감소하며, 이는 데이터 효율성과 강인성을 보여준다.
• 수치적 가우시안 프로세스는 노이즈가 있는 초기 데이터가 있을지라도 장시간 적분 동안 불확실성을 성공적으로 전파하며, 일관된 사후 분산 추정치를 유지한다.
• 선형 및 비선형 PDE를 포함한 모든 벤치마크 문제에서 잠재 해의 정확한 근사치를 회복한다.
• 데이터 부족 및 노이즈가 있는 관측치가 있는 상황에서, 전체 사후 분포를 제공함으로써 고전적 결정론적 방법보다 뛰어난 성능을 보인다.
• 수렴 연구를 통해 최적의 수렴 속도를 보이며, 장시간 시뮬레이션에서도 안정성을 유지함을 검증하였다.