[논문 리뷰] Parametric Gaussian Process Regressors

Martin Jankowiak, Geoff Pleiss외 1명|arXiv (Cornell University)|2019. 10. 16.

Gaussian Processes and Bayesian Inference참고 문헌 46인용 수 8

한 줄 요약

이 논문은 예측 분포를 직접 최적화함으로써 사전분포 근사가 아닌 예측 분포 최적화에 초점을 맞춘 새로운 스케일러블 가우시안 프로세스 회귀 방법인 파라미터화된 가우시안 프로세스 회귀기(PPGPR)를 제안한다. 유도 포인트를 사용하여 유연한 평균 및 분산 함수를 파arameter화함으로써, PPGPR는 표준 변분 추론 방법에 비해 훨씬 더 잘 校정된 불확실성과 더 높은 로그우도를 달성한다. 이는 일반적으로 포인트당 최대 0.5 nat까지 향상된다.

ABSTRACT

The combination of inducing point methods with stochastic variational inference has enabled approximate Gaussian Process (GP) inference on large datasets. Unfortunately, the resulting predictive distributions often exhibit substantially underestimated uncertainties. Notably, in the regression case the predictive variance is typically dominated by observation noise, yielding uncertainty estimates that make little use of the input-dependent function uncertainty that makes GP priors attractive. In this work we propose two simple methods for scalable GP regression that address this issue and thus yield substantially improved predictive uncertainties. The first applies variational inference to FITC (Fully Independent Training Conditional; Snelson et.~al.~2006). The second bypasses posterior approximations and instead directly targets the posterior predictive distribution. In an extensive empirical comparison with a number of alternative methods for scalable GP regression, we find that the resulting predictive distributions exhibit significantly better calibrated uncertainties and higher log likelihoods--often by as much as half a nat per datapoint.

연구 동기 및 목표

• 스케일러블 GP 회귀에서 흔히 발생하는 과도한 불확실성 추정, 특히 입력에 따라 변하는 함수 불확실성의 부족 사용 문제를 해결하기 위해.
• 후행분포 근사를 대신하여 예측 분포를 직접 모델링함으로써 대규모 GP 회귀에서 예측 불확실성의 보정을 향상시키기 위해.
• 높은 예측 성능를 유지하면서도 잘 校정된 불확실성 추정을 제공하는 스케일러블한 방법을 개발하기 위해.
• 후행분포 근사를 통한 변분 추론에 비해 예측 분포의 직접 최적화가 더 높은 로그우도와 더 나은 불확실성 보정을 이끌어내는지 입증하기 위해.
• 딥 커널 학습에서 몬테카를로 드롭아웃의 실용적이고 빠른 추론 대안을 제공하며, 해석적으로 계산된 분산을 제공하기 위해.

제안 방법

• FITC(완전히 독립된 훈련 조건부) GP 프레임워크에 변분 추론을 적용하여 불확실성 추정을 향상시키는 PPGPR-δ를 제안한다.
• 예측 분포의 코レス키 기반 파arameterization을 사용하여 양의 정부호 공분산 행렬을 보장하는 PPGPR-Chol을 도입한다.
• 예측 분포의 평균 및 분산 함수를 분리하면서도 커널 하이퍼파ram터를 공유하는 PPGPR-MFD(평균 함수 분리)를 개발하여 RMSE와 NLL 사이의 더 나은 트레이드오���을 가능하게 한다.
• 유도 포인트를 사용하여 예측 분포의 파arametric 가족을 정의함으로써 입력에 따라 변하는 불확실성의 스케일러블하고도 민감한 모델링을 가능하게 한다.
• 변분 추론에서 발생하는 불확실성 구성 요소의 비대칭적 취급을 피하기 위해 최대우도 기반으로 예측 분포를 직접 최적화한다.
• 유도 포인트 방법의 구조를 활용하여 모델 용량을 제어할 수 있는 예측 분산에 대한 민감한 파arametric 형태를 활용한다.

실험 결과

연구 질문

• RQ1 GP 회귀에서 예측 분포를 직접 최적화하면 변분 추론을 통한 후행분포 근사에 비해 더 잘 校정된 불확실성을 얻을 수 있는가?
• RQ2 유도 포인트를 기반으로 한 예측 분포의 파arametric 가족을 사용하면 대규모 GP 회귀에서 로그우도와 불확실성 보정이 향상되는가?
• RQ3 예측 분포의 평균 및 분산 함수를 분리하면 예측 정확도(RMSE)와 불확실성 보정(NLL) 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 PPGPR는 실제 회귀 과제에서 로그우도와 불확실성 보정 측면에서 표준 SVGP 및 MAP 추정에 비해 뛰어난 성능을 보일 수 있는가?
• RQ5 PPGPR는 딥 커널 학습에서 불확실성 추정을 위한 몬테카를로 드롭아웃보다 더 빠르고 신뢰할 수 있는 대안을 제공할 수 있는가?

주요 결과

• PPGPR-MFD는 벤치마크 데이터셋 전반에서 NLL 지표에서 평균 순위 1.81을 기록하며 최고의 로그우도 성능를 달성한다.
• PPGPR-MFD는 모든 방법 중에서 가장 낮은 RMSE(1.82)를 기록하여 높은 불확실성 보정에도 불구하고 강력한 예측 정확도를 보여준다.
• PPGPR-Chol은 최고의 NLL 점수(1.59)와 CRPS(1.40)를 기록하여 뛰어난 불확실성 보정 능력을 입증한다.
• PPGPR-δ와 PPGPR-Chol은 SVGP 및 MAP와 같은 기준 방법에 비해 포인트당 최대 0.5 nat까지 로그우도를 향상시킨다.
• 딥 커널 학습에서 PPGPR+DKL은 SVGP+DKL 및 MCDropout보다 불확실성 보정에서 뛰어난 성능을 보이며, 분석적 분산 계산 덕분에 테스트 시기 추론 속도가 상당히 빠르다.
• 결과는 SVGP의 뛰어난 성능가 커널의 표현력에 기인할 가능성이 크며, 이는 직접 예측 모델링의 가치를 강조한다.