[논문 리뷰] Physics-Informed Kriging: A Physics-Informed Gaussian Process Regression Method for Data-Model Convergence.

Xiu Yang, G. Tartakovsky외 1명|arXiv (Cornell University)|2018. 09. 10.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 29

한 줄 요약

이 논문은 물리법칙을 통합한 크리징(PhIK)을 소개한다. PhIK는 통제된 편미분 방정식의 확률적 실현값에서 비정상적인 평균 및 공분산 함수를 구성함으로써 초모수 최적화가 필요 없도록 하는 가우시안 프로세스 회귀 방법이다. PhIK는 결정론적 선형 연산자를 통해 물리적 제약 조건을 보장하며, 능동 학습과 다수준 몬테카를로 샘플링을 통해 정확하고 효율적인 예측을 달성한다. 이는 수정된 브라인 함수와 트레이서 분포 복원에 적용되었다.

ABSTRACT

In this work, we propose a new Gaussian process regression (GPR) method: physics-informed Kriging (PhIK). In the standard data-driven Kriging, the unknown function of interest is usually treated as a Gaussian process with assumed stationary covariance with hyperparameters estimated from data. In PhIK, we compute the mean and covariance function from realizations of available stochastic models, e.g., from realizations of governing stochastic partial differential equations solutions. Such a constructed Gaussian process generally is non-stationary, and does not assume a specific form of the covariance function. Our approach avoids the costly optimization step in data-driven GPR methods to identify the hyperparameters. More importantly, we prove that the physical constraints in the form of a deterministic linear operator are guaranteed in the resulting prediction. We also provide an error estimate in preserving the physical constraints when errors are included in the stochastic model realizations. To reduce the computational cost of obtaining stochastic model realizations, we propose a multilevel Monte Carlo estimate of the mean and covariance functions. Further, we present an active learning algorithm that guides the selection of additional observation locations. The efficiency and accuracy of PhIK are demonstrated for reconstructing a partially known modified Branin function and learning a conservative tracer distribution from sparse concentration measurements.

연구 동기 및 목표

• 표준 데이터 주도 크리징의 한계를 해결하기 위해, 정상성 공분산 가정에 의존하고 초모수 최적화에 비용이 많이 드는 문제를 해결한다.
• 결정론적 선형 연산자로 표현된 물리적 제약 조건을 가우시안 프로세스 예측에 통합하여, 근본적인 물리 법칙과의 일致성을 확보한다.
• 확률적 모델 실현값에서 유도된 다수준 몬테카를로 추정을 통해 평균 및 공분산 함수를 구성함으로써 계산 비용을 줄인다.
• 예측 정확도를 향상시키기 위해 예측 분산과 물리 일치성을 기반으로 정보가 풍부한 관측 위치를 선택하는 능동 학습 알고리즘을 통합한다.

제안 방법

• 지배 편미분 방정식의 확률적 해 실현값에서 가우시안 프로세스의 평균 및 공분산 함수를 구성함으로써 비정상 과정을 생성한다.
• 결정론적 선형 연산자를 사용하여 물리적 제약 조건을 예측에 직접 통합함으로써, 학습된 함수가 기본 물리 법칙을 만족하도록 보장한다.
• 기존의 초모수 최적화를 물리 기반의 공분산 구조 구성으로 대체하여 반복적 조정을 피한다.
• 다수준 몬테카를로 샘플링을 적용하여 확률적 모델 실현값에서 평균 및 공분산 함수를 효율적으로 추정한다.
• 예측 분산과 물리 일치성을 기반으로 새로운 관측 위치를 선택하는 능동 학습 전략을 통합하여, 최소한의 데이터로 모델 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 정상 공분산 함수의 초모수 최적화에 의존하지 않고도 물리법칙을 통합한 가우시안 프로세스를 구성할 수 있는가?
• RQ2 선형 연산자로 표현된 물리적 제약 조건은 가우시안 프로세스 회귀 모델의 예측에서 어떻게 보장할 수 있는가?
• RQ3 확률적 모델 실현값의 오차가 결과 예측에서 물리적 제약 조건의 유지에 어느 정도 영향을 미치는가?
• RQ4 다수준 몬테카를로 샘플링은 가우시안 프로세스에서 평균 및 공분산 함수를 구성하는 데 있어 계산 비용을 크게 줄일 수 있는가?
• RQ5 능동 학습은 희소 데이터 환경에서 수렴성과 정확도 향상에 관측 위치를 안내하는 데 얼마나 효과적인가?

주요 결과

• PhIK는 초모수 최적화가 필요 없도록 확률적 모델 실현값에서 직접 공분산 구조를 구성함으로써 계산 오버헤드를 줄인다.
• 이 방법은 결정론적 선형 연산자로 정의된 물리적 제약 조건을 예측이 반드시 만족하도록 보장하여 지배 방정식과의 일致성을 확보한다.
• 오차 분석 결과, 확률적 모델 실현값에 오차가 포함되어도 물리적 제약 조건이 유지되며, 정확한 제약 조건에서의 편차는 유계임을 확인하였다.
• 다수준 몬테카를로 추정은 표준 몬테카를로 대비 평균 및 공분산 함수 계산 비용을 크게 감소시켰다.
• 능동 학습은 데이터 효율성을 향상시켜 수정된 브라인 함수와 보수적인 트레이서 분포를 더 적은 관측 수로 정확하게 복원할 수 있었다.