[논문 리뷰] Gaussian Process Regression with a Student-t Likelihood

Pasi Jylänki, Jarno Vanhatalo외 1명|arXiv (Cornell University)|2011. 06. 22.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 14

한 줄 요약

이 논문은 이상치를 다루기 위해 스튜던트-t 분포를 사용한 가우시안 프로세스 회귀의 강건하고 효율적인 구현을 제시한다. 비로그볼록성 문제로 인해 수렴이 어려운 비모델에 대해, 병렬 업데이트와 적응형 스텝 크기를 적용한 수정된 기대치법(EP) 알고리즘을 사용하여 수렴 문제를 해결한다. 이 방법은 라플라스, 변분베이즈, MCMC 근사 방법과 비교해도 예측 성능이 뛰어나며, 특히 다중모달 사후분포 상황에서 뛰어난 성능을 보인다.

ABSTRACT

This paper considers the robust and efficient implementation of Gaussian process regression with a Student-t observation model. The challenge with the Student-t model is the analytically intractable inference which is why several approximative methods have been proposed. The expectation propagation (EP) has been found to be a very accurate method in many empirical studies but the convergence of the EP is known to be problematic with models containing non-log-concave site functions such as the Student-t distribution. In this paper we illustrate the situations where the standard EP fails to converge and review different modifications and alternative algorithms for improving the convergence. We demonstrate that convergence problems may occur during the type-II maximum a posteriori (MAP) estimation of the hyperparameters and show that the standard EP may not converge in the MAP values in some difficult cases. We present a robust implementation which relies primarily on parallel EP updates and utilizes a moment-matching-based double-loop algorithm with adaptively selected step size in difficult cases. The predictive performance of the EP is compared to the Laplace, variational Bayes, and Markov chain Monte Carlo approximations.

연구 동기 및 목표

• 가우시안 프로세스 회귀에 스튜던트-t 분포를 적용할 때 비로그볼록성으로 인해 기대치법(EP)의 수렴 문제가 발생하는 문제를 해결하기 위해.
• 특히 충돌하는 이상치나 다중모달 사후분포가 존재하는 경우에도 강력하고 확장성 있고 신뢰할 수 있는 EP 구현을 개발하기 위해.
• 어려운 회귀 상황에서 라플라스, 변분베이즈, MCMC 근사 방법과 비교해 제안된 EP 방법의 예측 성능을 평가하기 위해.
• 안정적인 추론을 위한 실용적 지침과 알고리즘 개선 기법(예: 덤프링, 분수형 업데이트, 이중 루프 반복)을 제공하기 위해.

제안 방법

• 스튜던트-t 분포의 스케일 믹스처 표현을 사용하여 GP 회귀에서 근사 베이지안 추론을 가능하게 한다.
• 비교적 어려운 경우에도 수렴을 향상시키기 위해 적응형 스텝 크기 선택과 모멘트 매칭 기반의 이중 루프 업데이트를 포함한 병렬 EP 알고리즘을 구현한다.
• 초기값 최적화를 위해 유형-II 최대사후확률추정(MAP)을 사용하며, 수렴하지 않는 EP 업데이트가 발생할 경우 이를 신중하게 처리한다.
• 표준 EP가 수렴하지 못할 경우, 특히 다중모달 사후분포 영역에서, 덤프링과 분수형 업데이트를 보조 전략으로 통합한다.
• 공백 분포 분석을 통해 신뢰할 수 없는 근사 추정을 감지하고, 모델 불일치나 높은 불확실성 가능성을 경고한다.
• 재현 가능성과 접근성 확보를 위해, 공개된 GPstuff 소프트웨어 패키지에 통합된 구현을 제공한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 회귀에 스튜던트-t 분포를 적용할 때 표준 기대치법(EP)이 수렴하지 못하는 조건는 무엇인가?
• RQ2 스튜던트-t 분포로 인해 발생하는 무거운 尾部를 가진 비로그볼록성 사이트 함수가 존재할 경우 EP의 수렴을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 수정된 EP 방법의 예측 성능은 라플라스, 변분베이즈, MCMC 근사 방법과 비교해 어떻게 되는가?
• RQ4 스튜던트-t 분포의 자유도 ν의 선택이 모델의 강건성과 추론 안정성에 미치는 영향는 어떠한가?
• RQ5 제안된 EP 구현은 다중모달 사후분포나 높은 불확실성 영역과 같은 문제적 추론 사례를 신뢰성 있게 감지할 수 있는가?

주요 결과

• 표준 EP 알고리즘은 스튜던트-t 분포를 사용한 GP 회귀에서 유형-II MAP 추정 과정에서 수렴에 자주 실패하며, 특히 이상치가 서로 떨어져 있을 경우 더욱 심각하다.
• 병렬 업데이트, 적응형 스텝 크기, 이중 루프 반복을 적용한 제안된 강건한 EP 구현은 다중모달 사후분포가 존재하는 경우를 포함해 모든 테스트 케이스에서 수렴을 성공적으로 달성한다.
• 수정된 EP 방법은 라플라스 및 변분베이즈 근사 방법보다 예측 성능이 뛰어나며, 특히 충돌하는 이상치가 존재하는 상황에서 뚜렷한 우월성을 보인다.
• 이 방법은 라플라스 및 변분베이즈 방법이 보여주는 잘못된 확신을 피하고, 공백 분포 분석을 통해 잠재적인 모델 불일치나 높은 불확실성 영역을 경고한다.
• ν = 4로 고정하면 안정적인 기준 모델을 확보할 수 있으며, 그리드 기반의 ν 추정은 강건성을 향상시키며 제안된 EP 프레임워크를 통해 일관되게 추정된다.
• 덤프링, 분수형 업데이트, 이중 루프 반복 등의 알고리즘 개선 기법은 GP 모델의 다른 비로그볼록성 가능도 함수에도 일반화 가능하고 효과적이다.