[논문 리뷰] Gaussian Process Regression with Location Errors

Daniel Cervone, Natesh S. Pillai|arXiv (Cornell University)|2015. 06. 27.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 15

한 줄 요약

이 논문은 공간 입력 위치의 측정 오차를 고려하는 새로운 가우시안 프로세스 회귀 프레임워크를 제안한다. 계층적 모델과 마르코프 체인 몬테카를로(MCMC) 추론을 사용하여 최소 평균 제곱 오차(MSE) 예측을 달성한다. 위치 오차를 忽시할 경우, 특히 입력 위치들이 가까우거나 노이즈가 많을 경우, 비최적의 크리징(Kriging)과 타당하지 않은 추론이 발생함을 보여준다.

ABSTRACT

In this paper, we investigate Gaussian process regression models where inputs are subject to measurement error. In spatial statistics, input measurement errors occur when the geographical locations of observed data are not known exactly. Such sources of error are not special cases of "nugget" or microscale variation, and require alternative methods for both interpolation and parameter estimation. Gaussian process models do not straightforwardly extend to incorporate input measurement error, and simply ignoring noise in the input space can lead to poor performance for both prediction and parameter inference. We review and extend existing theory on prediction and estimation in the presence of location errors, and show that ignoring location errors may lead to Kriging that is not "self-efficient". We also introduce a Markov Chain Monte Carlo (MCMC) approach using the Hybrid Monte Carlo algorithm that obtains optimal (minimum MSE) predictions, and discuss situations that lead to multimodality of the target distribution and/or poor chain mixing. Through simulation study and analysis of global air temperature data, we show that appropriate methods for incorporating location measurement error are essential to valid inference in this regime.

연구 동기 및 목표

• 입력 공간 위치에 오차가 존재할 경우에도 강건한 가우시안 프로세스 회귀 방법의 부족을 해결한다.
• 입력 측정 오차를 忽시할 경우 크리징에서 예측 성능이 열 劣화되고 타당하지 않은 추론이 발생함을 보여준다.
• 진짜 위치를 잠재 변수로 간주하는 계층적 베이지안 모델을 개발하여 최적(최소 MSE)의 예측을 가능하게 한다.
• 이론적이고 경험적인 증거를 통해 위치 오차가 보간 정확도와 모수 추정에 상당한 영향을 미침을 입증한다.
• 잠재 위치와 모델 모수의 결합 사후분포에서 샘플링하기 위해 하이브리드 몬테카를로(Hybrid Monte Carlo)를 사용하는 MCMC 알고리즘을 제안하여 예측 신뢰도를 향상시킨다.

제안 방법

• 관측된 입력 위치가 진짜 잠재 위치의 노이즈 있는 실현값이라고 가정하는 계층적 가우시안 프로세스 모델을 수립한다.
• 관측 데이터와 초모수에 조건화된 잠재 위치와 과정 값의 결합 사후분포를 유도한다.
• 다중모드성과 열악한 믹싱 문제를 해결하기 위해 고차원 사후분포에서 효율적으로 샘플링하기 위해 하이브리드 몬테카를로(HMC) 알고리즘을 구현한다.
• 잠재 위치의 불확실성을 평균화하여 최소 MSE 예측을 계산하기 위해 전체 사후 예측 분포를 사용한다.
• 입력 오차에 의해 유도된 과정의 공분산 구조를 통합함으로써 표준 크리징을 확장하여 예측 분산 추정을 향상시킨다.
• 이론적 결과를 적용하여 입력 오차를 忽시할 경우 크리징이 자가 효율성이 없어지는 조건을 유도한다.

실험 결과

연구 질문

• RQ1 입력 측정 오차는 가우시안 프로세스 회귀에서 표준 크리징의 성능에 어떤 영향을 미치는가?
• RQ2 입력 오차를 忽시할 경우 예측이 비최적적이거나 타당하지 않은데, 그 이론적 조건은 무엇인가?
• RQ3 진짜 위치를 잠재 변수로 간주하는 베이지안 계층 모델이 입력 오차가 존재하는 상황에서 최소 MSE 예측을 도출할 수 있는가?
• RQ4 잠재 위치와 과정 값의 결합 사후분포에서 MCMC 샘플링이 표준 크리징에 비해 예측 정확도를 어떻게 향상시키는가?
• RQ5 잠재 위치의 사후분포가 다중모드성을 띠는 조건는 무엇이며, 이는 MCMC 수렴성과 믹싱에 어떤 영향을 미치는가?

주요 결과

• 입력 측정 오차를 忽시할 경우 크리징이 자가 효율성이 없으며, 관측 위치들이 임의로 가까워질수록 예측 평균 제곱 오차(MSE)가 무한대로 발산한다.
• 제안된 입력 위치 오차를 고려한 크리징(KILE) 추정기는 잠재 위치의 불확실성을 적절히 반영하여 최소 MSE를 달성하며, 표준 크리징보다 뛰어난 성능을 보인다.
• 시뮬레이션 연구 결과, 하이브리드 몬테카를로를 사용하는 MCMC 기반 접근법이 입력 오차가 존재할 경우 난이도 있는 크리징보다 더 정확하고 신뢰할 수 있는 예측을 제공함을 보여준다.
• 잠재 위치의 사후분포는 입력 오차가 크거나 위치들이 가까울 경우 특히 다중모드성을 보일 수 있으며, 이는 MCMC 믹싱을 복잡하게 만든다.
• 북반구 온도 이상 현상에 대한 적용 결과, 위치 오차를 통합함으로써 더 정밀하고 지리적으로 타당한 보간 결과를 도출할 수 있음을 확인하였다.
• 이론적 분석을 통해 일반 조건 하에서 KILE 예측의 MSE가 표준 크리징보다 엄격히 낮음을 증명하였으며, 특히 입력 분산이 무시할 수 없는 경우에 뚜렷한 이점이 있다.