[논문 리뷰] Prediction performance after learning in Gaussian process regression

Johan Wågberg, Dave Zachariah외 2명|arXiv (Cornell University)|2016. 06. 13.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 13

한 줄 요약

이 논문은 일반화된 크래머-라오 경계를 사용하여 초모수 학습의 불확실성을 고려함으로써 가우시안 프로세스 회귀에서 평균 제곱 오차(MSE)에 대한 더 낫게 조여진 하한을 제안한다. 이 방법은 표준 예측 분산에 모델 학습 오차 항을 추가함으로써 예측 불확실성 정량화를 향상시켜, 복잡한 마진화나 사전 분포 없이도 더 신뢰할 수 있는 오차 막대를 제공한다.

ABSTRACT

This paper considers the quantification of the prediction performance in Gaussian process regression. The standard approach is to base the prediction error bars on the theoretical predictive variance, which is a lower bound on the mean square-error (MSE). This approach, however, does not take into account that the statistical model is learned from the data. We show that this omission leads to a systematic underestimation of the prediction errors. Starting from a generalization of the Cramér-Rao bound, we derive a more accurate MSE bound which provides a measure of uncertainty for prediction of Gaussian processes. The improved bound is easily computed and we illustrate it using synthetic and real data examples. of uncertainty for prediction of Gaussian processes and illustrate it using synthetic and real data examples.

연구 동기 및 목표

• 초모수를 데이터로부터 학습할 때 가우시안 프로세스 회귀에서 예측 오차가 체계적으로 과소평가되는 문제를 해결한다.
• 불확실성 정량화를 위한 전체 베이지안 마진화의 계산적으로 효율적인 대안을 제공한다.
• 모델 학습 불확실성을 고려한 더 낫게 조여진 평균 제곱 오차 하한을 유도한다.
• 활동 학습 및 베이지안 최적화와 같은 애플리케이션에서 예측 오차 막대의 신뢰도를 향상시킨다.

제안 방법

• 학습된 매개변수의 피셔 정보를 통합함으로써 초모수의 불확실성을 고려한 일반화된 크래머-라오 경계(GCRB)를 유도한다.
• MSE 하한을 표준 예측 분산과 초모수에 대한 예측자 미분의 제곱을 포함한 추가 항의 합으로 공식화한다.
• 베이지안 크래머-라오 경계(BCRB) 프레임워크를 사용하여 초모수 추정의 불확실성을 포함한 MSE 하한을 도출한다.
• 특히 평균 함수 매개변수의 초모수에 대한 피셔 정보 행렬의 역행렬을 사용하여 보정 항을 계산한다.
• 예측 평균, 커널 행렬, 초모수에 대한 예측자 미분을 포함한 표준 GP 도구를 사용하여 경계를 적용한다.
• 합성 및 실세계 데이터를 사용하여 경계를 검증하였으며, 표준 예측 분산보다 더 낫게 조여진 오차 추정을 보였다.

실험 결과

연구 질문

• RQ1 데이터로부터 초모수를 학습할 때 가우시안 프로세스 회귀에서 예측 오차 막대의 정확도에 어떤 영향을 미치는가?
• RQ2 학습된 초모수의 불확실성을 고려한 더 낫게 조여진 평균 제곱 오차 하한을 도출할 수 있는가?
• RQ3 제안된 경계는 실용적 환경에서 표준 예측 분산보다 계산적으로 실현 가능하고 더 정확한가?
• RQ4 일반화된 크래머-라오 경계에서 유도된 보정 항은 실세계 및 합성 데이터에서 불확실성 정량화를 어떻게 향상시키는가?

주요 결과

• 초모수를 데이터로부터 학습할 경우 표준 예측 분산은 진짜 평균 제곱 오차를 체계적으로 과소평가한다.
• 제안된 경계는 초모수 추정 불확실성을 고려한 보정 항을 추가함으로써 표준 예측 분산을 향상시킨다.
• 보정 항은 평균 함수 초모수에 대한 예측자의 미분과 피셔 정보 행렬의 역행렬에서 유도된다.
• 개선된 경계는 계산적으로 효율적이며, 사전 분포나 수치 적분이 필요 없이 표준 GP 추론 도구를 사용해 계산할 수 있다.
• 합성 및 실세계 데이터에 대한 실험 결과는 새로운 경계가 표준 예측 분산보다 훨씬 낫게 조여진 더 정확한 오차 추정을 제공한다는 것을 보여준다.
• 경계가 MSE에 대한 유효한 하한임을 입증하였으며, 모델 학습 하에서 표준 예측 분산보다 더 낫게 조여진 것으로 확인되었다.