[논문 리뷰] Physics Regularized Gaussian Processes.

Zheng Wang, Wei Xing외 2명|arXiv (Cornell University)|2020. 06. 08.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 13

한 줄 요약

이 논문은 그린 함수나 제한적인 커널 컨볼루션에 의존하지 않고 임의의 미분방정식(선형 또는 비선형)을 가우시안 프로세스에 통합할 수 있는 베이지안 프레임워크인 물리학 정규화 가우시안 프로세스(PRGP)를 제안한다. 잠재 변수를 적분하고 단순화된 변분 추론 목표함수를 유도함으로써, 딥 커널과 같은 표현력 있는 커널의 효과적인 사용이 가능해져 데이터가 제한된 상황에서 일반화 및 외삽 성능이 크게 향상된다.

ABSTRACT

We consider incorporating incomplete physics knowledge, expressed as differential equations with latent functions, into Gaussian processes (GPs) to improve their performance, especially for limited data and extrapolation. While existing works have successfully encoded such knowledge via kernel convolution, they only apply to linear equations with analytical Green's functions. The convolution can further restrict us from fusing physics with highly expressive kernels, e.g., deep kernels. To overcome these limitations, we propose Physics Regularized Gaussian Process (PRGP) that can incorporate both linear and nonlinear equations, does not rely on Green's functions, and is free to use arbitrary kernels. Specifically, we integrate the standard GP with a generative model to encode the differential equation in a principled Bayesian hybrid framework. For efficient and effective inference, we marginalize out the latent variables and derive a simplified model evidence lower bound (ELBO), based on which we develop a stochastic collapsed inference algorithm. Our ELBO can be viewed as a posterior regularization objective. We show the advantage of our approach in both simulation and real-world applications.

연구 동기 및 목표

• 기존의 물리학 인프레임 가우시안 프로세스 방법이 그린 함수에 의존하고 선형 방정식에 국한되어 있다는 한계를 해결하기 위해.
• 커널 컨볼루션 제약 없이 선형 및 비선형 미분방정식을 가우시안 프로세스에 통합할 수 있도록 하기 위해.
• 딥 커널과 같은 표현력 있는 커널을 물리학 인프레임 가우시안 프로세스 모델링에 활용할 수 있도록 지원하기 위해.
• 잠재 변수를 적분하고 타당한 증거 하한값(ELBO)을 통해 변분 추론을 단순화하는 효율적인 추론 기반 기법을 개발하기 위해.

제안 방법

• 표준 가우시안 프로세스와 미분방정식을 코딩하는 생성 모델을 결합한 하이브리드 베이지안 모델을 수립하기 위해.
• 원칙적인 베이지안 정규화 접근법을 통해 미분방정식 제약 조건을 가우시안 프로세스 프레임워크에 통합하기 위해.
• 잠재 변수를 적분함으로써 단순화된 모델의 증거 하한값(ELBO)을 유도하여 효율적인 추론을 가능하게 하기 위해.
• 유도된 ELBO를 기반으로 한 스토하스틱 콜랩스 추론 알고리즘을 개발하여 모델 파라미터를 최적화하기 위해.
• ELBO를 사후 정규화 목표로 프레임워크화하여 물리학 지식과 임의의 커널 함수 간의 탄력적인 융합을 가능하게 하기 위해.
• 분석적 그린 함수에 의존하지 않음으로써 선형 및 비선형 방정식 모두를 지원하기 위해.

실험 결과

연구 질문

• RQ1 그린 함수에 의존하지 않고 선형 또는 비선형 임의의 미분방정식을 가우시안 프로세스에 통합할 수 있는가?
• RQ2 딥 커널과 같은 표현력 있는 커널을 물리학 인프레임 가우시안 프로세스 모델에 어떻게 통합할 수 있는가?
• RQ3 잠재 변수를 적분하면서도 물리학 제약 조건을 유지하는 효율적인 추론 방법을 개발할 수 있는가?
• RQ4 제안된 프레임워크는 데이터가 제한된 상황에서 일반화 및 외삽 성능을 향상시키는가?

주요 결과

• PRGP는 분석적 그린 함수가 필요 없이 선형 및 비선형 미분방정식을 모두 가우시안 프로세스에 성공적으로 통합한다.
• 커널 컨볼루션 제약 없이도 임의의 커널, 특히 딥 커널을 활용할 수 있도록 지원한다.
• 유도된 ELBO는 효율적인 스토하스틱 콜랩스 추론을 가능하게 하여 최적화 과정을 크게 단순화한다.
• 시뮬레이션과 실제 응용 사례를 통해 데이터가 제한된 상황에서 일반화 및 외삽 성능 향상이 입증된다.