[논문 리뷰] Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals

Chunyi Wang, Radford M. Neal|arXiv (Cornell University)|2012. 12. 26.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 37

한 줄 요약

이 논문은 잠재 공변량을 갖는 가우시안 프로세스 회귀 모델(GPLC)을 제안하며, 잠재 변수를 관측되지 않은 입력으로 간주함으로써 이질분산성과 비정규 잔차를 다룰 수 있도록 한다. 이는 입력에 의존하는 노이즈와 비정규 잔차 분포를 가능하게 한다. MCMC 샘플링을 통해 수정된 메트로폴리스 알고리즘을 사용할 경우 혼합성과 수렴 속도가 향상되어, 이질분산성 및 비정규 분포 설정에서 표준 GP 및 GPLV 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Gaussian Process (GP) regression models typically assume that residuals are Gaussian and have the same variance for all observations. However, applications with input-dependent noise (heteroscedastic residuals) frequently arise in practice, as do applications in which the residuals do not have a Gaussian distribution. In this paper, we propose a GP Regression model with a latent variable that serves as an additional unobserved covariate for the regression. This model (which we call GPLC) allows for heteroscedasticity since it allows the function to have a changing partial derivative with respect to this unobserved covariate. With a suitable covariance function, our GPLC model can handle (a) Gaussian residuals with input-dependent variance, or (b) non-Gaussian residuals with input-dependent variance, or (c) Gaussian residuals with constant variance. We compare our model, using synthetic datasets, with a model proposed by Goldberg, Williams and Bishop (1998), which we refer to as GPLV, which only deals with case (a), as well as a standard GP model which can handle only case (c). Markov Chain Monte Carlo methods are developed for both modelsl. Experiments show that when the data is heteroscedastic, both GPLC and GPLV give better results (smaller mean squared error and negative log-probability density) than standard GP regression. In addition, when the residual are Gaussian, our GPLC model is generally nearly as good as GPLV, while when the residuals are non-Gaussian, our GPLC model is better than GPLV.

연구 동기 및 목표

• 표준 가우시안 프로세스 회귀 모델이 일정한 분산을 갖는 i.i.d. 정규 잔차를 가정한다는 한계를 해결하기 위해.
• 입력에 의존하는 노이즈(이질분산성)와 비정규 잔차 분포를 다룰 수 있는 유연한 GP 모델을 개발하기 위해.
• 잠재 변수 모델에 대해 계산적으로 효율적인 MCMC 샘플링 전략을 제안하기 위해.
• 다양한 잔차 구조를 가진 시뮬레이션 데이터셋에서 표준 GP 및 GPLV 모델과의 실험적 비교를 통해 GPLC 모델의 성능을 평가하기 위해.

제안 방법

• GP 회귀 모델에 고정된 분포를 갖는 잠재 변수를 관측되지 않은 공변량으로 도입한다.
• 응답 변수에 대한 잠재 변수에 대한 편미분의 변화를 允許하는 공분산 함수를 사용하여, 입력에 의존하는 잔차 분산을 가능하게 한다.
• 응답를 $ y_i = f(x_i) + \epsilon_i $ 로 모델링하며, $ \epsilon_i $ 는 잠재 변수에 의존하여 비정규 잔차 분포를 가능하게 한다.
• 메르코프 체인 몬테카를로(MCMC) 방법을 사용하여 사후 추론을 수행하며, 혼합성을 향상시키기 위해 수정된 메트로폴리스 샘플러를 적용한다.
• 입력에 특화된 부드러움을 캡처하기 위해 자동 관련성 결정(ARD)을 갖는 제곱지수 공분산 함수를 적용한다.
• 로그-초모수에 하이퍼프리오르를 적용하고 MCMC를 통해 추정하며, 수렴성과 효율성 평가에 추적 플롯과 조정된 자기상관 시간을 사용한다.

실험 결과

연구 질문

• RQ1 잠재 공변량을 갖는 GP 모델이 정규 노이즈를 가정하지 않고도 입력에 의존하는 잔차 분산(이질분산성)을 효과적으로 다룰 수 있는가?
• RQ2 잔차가 비정규일 경우, GPLC 모델은 GPLV 모델보다 예측 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ3 수정된 메트로폴리스 MCMC 샘플러는 일반 메트로폴리스 및 슬라이스 샘플링에 비해 혼합성과 수렴 속도를 크게 향상시키는가?
• RQ4 잔차가 정규 분포이지만 이질분산일 경우, GPLC 모델은 GPLV 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 잠재 변수 및 초모수에 대해 GPLC 모델의 계산 효율성은 자기상관 시간과 혼합 시간 측면에서 어떻게 평가되는가?

주요 결과

• 이질분산 설정에서 표준 GP 회귀보다 GPLC 모델이 더 낮은 평균제곱오차와 음의 로그확률밀도를 달성한다.
• 잔차가 비정규일 경우, GPLC 모델은 정규 잔차를 가정하는 GPLV 모델보다 성능이 뛰어나다.
• 정규 잔차이지만 입력에 의존하는 분산을 갖는 상황에서는 GPLC 모델이 GPLV 모델과 거의 동일한 성능을 보인다.
• 수정된 메트로폴리스 샘플러는 일반 메트로폴리스 및 슬라이스 샘플러 대비 잠재 변수의 조정된 자기상관 시간을 50배에서 100배까지 감소시킨다.
• 수정된 메트로폴리스 샘플러는 평형 상태에 더 빨리 도달하고, 특히 잠재 변수에 대해 더 효율적으로 혼합되며, 추적 플롯에서 사전 평균에서 빠른 수렴이 관찰된다.
• 초모수에 대해서는 수정된 메트로폴리스 샘플러가 일반 메트로폴리스 샘플러와 유사한 성능을 보이며, 둘 다 슬라이스 샘플러보다 혼합 속도가 빠르다.