[논문 리뷰] Student-t Processes as Alternatives to Gaussian Processes

Amar Shah, Andrew Gordon Wilson외 1명|arXiv (Cornell University)|2014. 02. 18.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 100

한 줄 요약

이 논문은 가우시안 프로세스(GPs)의 민감성과 제한점을 해결하기 위해 유연한 대안으로 스튜던트-t 프로세스(TPs)를 제안한다. TPs는 가우시안 프로세스의 커널에 대칭 위샤르트 과정 사전분포를 두고 이를 적분하여 유도한다. TP는 분석적 마진 및 예측 분포를 유지하며, 커널 기반의 비모수적 모델링이 가능하고, 예측 공분산이 학습 데이터 값에 의존함으로써 베이지안 최적화 및 회귀에서 강건성을 향상시킨다. 이는 GPs에 비해 계산 비용이 증가하지 않는 유일무결한 성능 향상이다.

ABSTRACT

We investigate the Student-t process as an alternative to the Gaussian process as a nonparametric prior over functions. We derive closed form expressions for the marginal likelihood and predictive distribution of a Student-t process, by integrating away an inverse Wishart process prior over the covariance kernel of a Gaussian process model. We show surprising equivalences between different hierarchical Gaussian process models leading to Student-t processes, and derive a new sampling scheme for the inverse Wishart process, which helps elucidate these equivalences. Overall, we show that a Student-t process can retain the attractive properties of a Gaussian process -- a nonparametric representation, analytic marginal and predictive distributions, and easy model selection through covariance kernels -- but has enhanced flexibility, and predictive covariances that, unlike a Gaussian process, explicitly depend on the values of training observations. We verify empirically that a Student-t process is especially useful in situations where there are changes in covariance structure, or in applications like Bayesian optimization, where accurate predictive covariances are critical for good performance. These advantages come at no additional computational cost over Gaussian processes.

연구 동기 및 목표

• 가우시안 프로세스가 분산을 모델링하거나 공분산의 모형 오류 또는 구조적 변화를 다룰 때의 한계를 해결하기 위해.
• 계층적 GP 모델에 사용하기 위한 임의의 크기의 공분산 행렬에 대한 비모수적 사전분포로 대칭 위샤르트 과정을 공식화하기 위해.
• 닫힌 형태의 마진 및 예측 분포를 갖는 스튜던트-t 프로세스를 유도하여 회귀 및 최적화에서 실용적으로 사용할 수 있도록 하기 위해.
• TP의 예측 공분산이 학습 관측치에 의존한다는 점을 입증하고, 이는 GPs와는 달리 강건성과 꼬리 의존성 향상에 기여한다는 것을 보여주기 위해.
• TP가 GPs의 즉각적인 대체로 사용될 수 있으며, 추가 계산 비용 없이도 핵심 응용 분야인 베이지안 최적화에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 가우시안 프로세스의 공분산 커널에 대칭 위샤르트 과정 사전분포를 두고 이를 분석적으로 통합하여 스튜던트-t 프로세스를 유도한다.
• 임의의 크기의 공분산 행렬에 대한 비모수적 사전분포로 대칭 위샤르트 과정을 사용하여, 마진화에 대해 일관성을 확보한다.
• TP의 마진 가능성 및 예측 분포에 대해 닫힌 형태의 표현식을 유도하며, 초모수 최적화를 위한 분석적 도함수를 포함한다.
• 계층적 GP 모델에서의 등가성과 해석 가능성을 향상시키기 위해 대칭 위샤르트 과정의 새로운 샘플링 기법을 제안한다.
• 슬라이스 샘플링을 사용해 초모수에 대해 통합함으로써, 베이지안 최적화에서 마진화된 기대 개선도를 구현한다.
• 동일한 커널과 초모수 추론 방법을 사용하여, 합성 및 벤치마크 함수에서 TP와 GP의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스의 계층적 일반화로서, 분석적으로 다룰 수 있는 마진 및 조건부 분포를 갖는 스튜던트-t 프로세스를 도출할 수 있는가?
• RQ2 스튜던트-t 프로세스의 예측 공분산은 가우시안 프로세스와 어떻게 다를까? 특히 학습 데이터 값에 대한 의존성 측면에서.
• RQ3 대칭 위샤르트 과정이 스튜던트-t 프로세스를 구성하는 데 있어 공분산 행렬에 대한 비모수적 사전분포로서 수행하는 역할은 무엇인가?
• RQ4 어떤 상황에서 스튜던트-t 프로세스가 가우시안 프로세스를 능가하는가? 특히 공분산의 구조적 변화가 있는 베이지안 최적화 및 회귀에서.
• RQ5 스튜던트-t 프로세스는 추가 계산 비용 없이 GPs의 즉각적인 대체로 사용될 수 있는가?

주요 결과

• 스튜던트-t 프로세스는 분석적으로 다룰 수 있는 마진 및 예측 분포를 갖는 가장 일반적인 타원형 대칭 프로세스이며, 가우시안 프로세스를 초월한다.
• 스튜던트-t 프로세스의 예측 공분산은 학습 관측치의 값에 명시적으로 의존하며, 이는 가우시안 프로세스와는 달리 불확실성 모델링과 꼬리 의존성 향상에 기여한다.
• 베이지안 최적화에서 스튜던트-t 프로세스는 가우시안 프로세스를 능가하며, 1차원 사인파 함수의 최솟값을 평균 25% 더 빨리 찾는다 (8.1±0.4 vs. 10.7±0.6 반복).
• 2차원 Branin-Hoo 함수와 6차원 Hartmann 함수에서, TP는 국소 최솟값을 더 철저하게 탐색하며 단계 함수처럼 행동하는 반면, GP는 더 균일한 개선을 보인다.
• 스튜던트-t 프로세스는 특히 고차원 설정에서 모형 오류 및 공분산 구조의 변화에 대해 더 강건함을 입증한다.
• 이전의 제안들과 달리, 스튜던트-t 프로세스는 신호와 노이즈를 분리하는 분석적 노이즈 모델을 사용할 수 있으며, 추가 계산 비용 없이 비모수적 커널 학습을 지원한다.