[논문 리뷰] MCMC for Variationally Sparse Gaussian Processes

James Hensman, Alexander Matthews외 2명|Graduate School and Research Center in Digital Science (EURECOM)|2015. 06. 12.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 55

한 줄 요약

이 논문은 가우시안 프로세스를 위한 하이브리드 마르코프 체인 몬테 카를로(HMC) 추론 체계를 제안하며, 변분 유도 지점과 비가우시안 사후 근사값을 조합하여 효율적이고 스케일러블한 베이지안 추론을 가능하게 한다. 이 방법은 데이터 수에 비해 훨씬 적은 수의 유도 지점을 사용함으로써 함수 값과 하이퍼파rameter에 대해 거의 정확한 사후 추정을 달성하며, MNIST와 같은 실세계 데이터셋과 시뮬레이션 문제에서 기존의 가우시안 근사값보다 정확도와 불확실성 캘리브레이션 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Gaussian process (GP) models form a core part of probabilistic machine learning. Considerable research effort has been made into attacking three issues with GP models: how to compute efficiently when the number of data is large; how to approximate the posterior when the likelihood is not Gaussian and how to estimate covariance function parameter posteriors. This paper simultaneously addresses these, using a variational approximation to the posterior which is sparse in support of the function but otherwise free-form. The result is a Hybrid Monte-Carlo sampling scheme which allows for a non-Gaussian approximation over the function values and covariance parameters simultaneously, with efficient computations based on inducing-point sparse GPs. Code to replicate each experiment in this paper will be available shortly.

연구 동기 및 목표

• 대규모 데이터셋에서 가우시안 프로세스의 정확한 베이지안 추론이 계산적으로 불가능한 문제를 해결한다.
• 기존의 변분 방법이 사후 분포를 가우시안으로 가정하고 하이퍼파rameter에 점 추정을 사용하는 데서 비롯되는 한계를 극복한다.
• 함수 값과 공분산 함수 하이퍼파rameter 양쪽에 대해 공동으로 비가우시안 사후 근사값을 제공한다.
• 희소 유도 지점 근사를 통해 계산 비용을 줄이며 높은 정확도를 유지하는 스케일러블한 추론 프레임워크를 개발한다.
• MCMC가 대규모 GP 모델에 실제로 적용 가능한지 입증하고, MCMC가 실용적으로 너무 느리다는 인식을 도전한다.

제안 방법

• 계산 비용을 줄이기 위해 GP 사후 분포를 근사하기 위해 변분 유도 지점 프레임워크를 채택한다.
• 유도 변수와 하이퍼파rameter에 대해 자유형 변분 사후 분포를 사용하여 제약이 있는 가우시안 가정을 피한다.
• 유도 변수와 하이퍼파rameter의 사후 분포를 함께 탐색하기 위해 하이브리드 몬테 카를로(HMC) 샘플링 체계를 구현한다.
• 희소 GP 구조를 활용하여 전체 사후 기대값을 효율적으로 계산하고, 전체 공분산 행렬 연산을 피한다.
• 혼합성과 수렴성을 향상시키기 위해 단계 크기와 궤적 길이를 자동으로 조정하는 HMC 샘플러를 통합한다.
• 얻어진 샘플을 사용해 예측 분포와 하이퍼파ram터 사후 분포를 추정하며, 불확실성 정량화를 향상시킨다.

실험 결과

연구 질문

• RQ1 희소 유도 지점 근사를 사용할 때, 대규모 가우시안 프로세스 모델에 대해 MCMC 샘플링을 계산적으로 실현 가능하게 만들 수 있는가?
• RQ2 함수 값과 하이퍼파ram터 양쪽에 비가우시안 사후 근사값을 사용할 경우, 기존의 가우시안 변분 근사값보다 더 나은 불확실성 정량화를 달성할 수 있는가?
• RQ3 근사 정확한 베이지안 추론을 달성하기 위해 필요한 유도 지점의 수는 얼마이며, 이는 데이터셋 크기와 어떻게 비교되는가?
• RQ4 제안된 HMC 체계는 실세계 벤치마크에서 예측 정확도와 로그우도 측면에서 기존의 변분 GP 방법을 능가할 수 있는가?
• RQ5 유도 지점의 위치가 분류 작업의 결정 경계에 얼마나 적응하는가? 이는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 HMC 기반 추론 체계는 MNIST 데이터셋에서 테스트 로그 밀도 -0.064를 달성하여 기존의 변분 근사만을 사용할 경우 -0.068보다 향상되었다.
• MNIST에서 모델은 98.04%의 정확도를 달성하여 동일한 벤치마크에서 이전의 GP 기반 접근법보다 뚜렷이 뛰어난 성능을 보였다.
• 필요한 유도 지점의 수는 데이터셋 크기보다 훨씬 적었으며, MNIST(70,000장의 이미지)에 대해 500개의 유도 지점으로 충분했다.
• 자유형 사후 근사값은 가우시안 근사값이 더 보수적인 것과 달리, 다중 클래스 문제에서 강한 상관관계와 비선형 결정 경계를 잘 포착했다.
• HMC와 지그슬러머 샘플러는 유사한 효율성을 보였으며, 실험 전반에서 효과적 샘플 크기(ESS)는 1.9–5.1, TN-ESS는 2.8×10⁻³에서 3.8×10⁻⁴ 사이를 기록했다.
• 최적화 과정에서 유도 지점들이 결정 경계 쪽으로 이동함을 관찰하여, 분류 작업에서 복잡한 비선형 결정 표면을 더 잘 표현함을 시사했다.