[논문 리뷰] Deep Gaussian Process Emulation using Stochastic Imputation

Deyu Ming, Daniel Williamson외 1명|arXiv (Cornell University)|2021. 07. 04.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 4

한 줄 요약

이 논문은 깊이 있는 가우시안 프로세스(DGP) 시뮬레이션을 위한 새로운 추론 방법인 스토하스틱 인페일레이션(SI)을 제안한다. SI는 잠재층을 확률적으로 보간함으로써 DGP를 연결된 가우시안 프로세스로 변환한다. 이 방법은 최적화 기반 학습을 효율적으로 가능하게 하고, 닫힌 형태의 예측 분포를 사용하여 분석적으로 접근 가능한 예측을 가능하게 하여, 정확도, 불확실성 측정 및 계산 효율성 측면에서 이중 스토하스틱 변분 추론 및 완전 베이지안 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Deep Gaussian processes (DGPs) provide a rich class of models that can better represent functions with varying regimes or sharp changes, compared to conventional GPs. In this work, we propose a novel inference method for DGPs for computer model emulation. By stochastically imputing the latent layers, our approach transforms a DGP into a linked GP: a novel emulator developed for systems of linked computer models. This transformation permits an efficient DGP training procedure that only involves optimizations of conventional GPs. In addition, predictions from DGP emulators can be made in a fast and analytically tractable manner by naturally utilizing the closed form predictive means and variances of linked GP emulators. We demonstrate the method in a series of synthetic examples and empirical applications, and show that it is a competitive candidate for DGP surrogate inference, combining efficiency that is comparable to doubly stochastic variational inference and uncertainty quantification that is comparable to the fully-Bayesian approach. A $ exttt{Python}$ package $ exttt{dgpsi}$ implementing the method is also produced and available at https://github.com/mingdeyu/DGP.

연구 동기 및 목표

• 컴퓨터 모델에서 깊이 있는 가우시안 프로세스(DGP) 시뮬레이션의 계산 및 추론 과제를 해결하기 위해.
• 최적화 기반 방법(예: DSVI)의 속도와 완전 베이지안 MCMC 접근법의 불확실성 측정 정확도 사이의 균형을 맞추기 위해.
• 잠재층 보간을 통해 DGP를 연결된 GP로 재구성함으로써 효율적이고 분석적으로 접근 가능한 DGP 예측을 가능하게 하기 위해.
• 입력 연결된 구조를 포함한 유연한 DGP 아키텍처를 지원하여 시뮬레이션 성능 향상에 기여하기 위해.
• 다중 정밀도, 다중 출력 및 하이브리드 시뮬레이션 시나리오에 적용 가능한 일반적이고 확장 가능한 추론 프레임워크를 개발하기 위해.

제안 방법

• 타원형 슬라이스 샘플링(ESS)을 사용해 DGP의 잠재층을 스토하스틱하게 보간함으로써 DGP를 연결된 GP로 변환한다.
• DGP 학습을 기존의 일반적인 GP 최적화 문제의 연속으로 재정의함으로써 표준 GP 해법기를 통한 효율적 추론을 가능하게 한다.
• 연결된 GP의 닫힌 형태의 예측 평균과 분산을 활용해 빠르고 분석적인 DGP 예측을 수행한다.
• 스토하스틱 기대값 최대화(SEM) 프레임워크를 적용해 반복적으로 잠재층 보간을 정밀화하고 하이퍼파rameter를 최적화한다.
• 연결된 GP 공식화를 통해 축에 대칭되지 않은 구조나 입력 연결된 구조를 포함한 일반적인 DGP 계층을 지원한다.
• 개방 소스 파이썬 패키지 dgpsi를 통해 기존 GP 라이브러리와 통합함으로써 다양한 시뮬레이션 작업에 대한 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DGP의 잠재층을 스토하스틱하게 보간함으로써 최적화 기반 학습을 효율적으로 수행하면서도 불확실성 측정 정확도를 유지할 수 있는가?
• RQ2 DSVI 및 완전 베이지안 추론과 같은 최첨단 방법과 비교했을 때, SI의 성능은 예측 정확도와 계산 비용 측면에서 어떻게 되는가?
• RQ3 DGP 계층에 입력 연결된 구조를 통합함으로써 SI 프레임워크 하에서 시뮬레이션 성능 향상은 어느 정도 이루어지는가?
• RQ4 DGP의 연결된 GP 재구성 방식은 기존 DGP 추론 방법보다 더 넓은 범위의 커널 함수와 계층적 구조를 지원할 수 있는가?
• RQ5 SI 방법은 다중 정밀도 및 다중 출력 시스템을 포함한 다양한 시뮬레이션 시나리오에서 확장 가능하고 일반화 가능한가?

주요 결과

• SI 방법은 완전 베이지안 추론과 유사한 예측 정확도를 달성하고 DSVI 수준의 계산 효율성을 보이며, 합성 및 실증 예제에서 더 낮은 NRMSEP을 기록한다.
• 입력 연결된 구조를 가진 3층 DGP 시뮬레이터는 정확도, 불확실성 측정, 계산 시간의 균형을 고려할 때 다른 구성보다 뛰어난 성능을 보였다.
• SI 기반 시뮬레이터들은 특히 옵션 그레고리의 헤스턴 PDE와 같은 복잡한 문제에서 입력 공간 전역에 걸쳐 잘 조절된 예측 표준편차를 보였다.
• 연결된 GP 이론에서 유도된 닫힌 형태의 표현식을 사용해 샘플링이나 근사화 없이 분석적으로 접근 가능한 예측을 가능하게 하였다.
• 실증 결과에 따르면, SI로 학습된 2층 또는 3층 DGP 시뮬레이터는 층 수가 증가함에도 불구하고 정확도와 계산 비용 사이의 최적의 트레이드오프를 제공하였다.
• 개방 소스 패키지 dgpsi를 통해 SI는 다양한 시뮬레이션 작업에 쉽게 구현 가능하며, 추가적인 가능도 계층을 통한 확률적 모델 확장에도 활용 가능하다.