[논문 리뷰] Bayesian Inference for Gaussian Process Classifiers with Annealing and Exact-Approximate MCMC

Maurizio Filippone|arXiv (Cornell University)|2013. 11. 28.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 가우시안 프로세스 분류기의 베이지안 추론을 햖थ하여, 데이터 크기 증가에 따라 마진널 리크리에이션 추정치의 분산을 지수적으로 감소시키면서도 다항수준의 계산 비용을 유지하는, 가짜-마진널 MCMC 내에서 안네일드 인포턴스 샘플링(AIS)을 사용하는 방법을 제안한다. 이 방법은 표준 인포턴스 샘플링에 비해 커널 파라미터 추정의 정확도와 자동화된 불확실성 측정을 향상시킨다.

ABSTRACT

Kernel methods have revolutionized the fields of pattern recognition and machine learning. Their success, however, critically depends on the choice of kernel parameters. Using Gaussian process (GP) classification as a working example, this paper focuses on Bayesian inference of covariance (kernel) parameters using Markov chain Monte Carlo (MCMC) methods. The motivation is that, compared to standard optimization of kernel parameters, they have been systematically demonstrated to be superior in quantifying uncertainty in predictions. Recently, the Pseudo-Marginal MCMC approach has been proposed as a practical inference tool for GP models. In particular, it amounts in replacing the analytically intractable marginal likelihood by an unbiased estimate obtainable by approximate methods and importance sampling. After discussing the potential drawbacks in employing importance sampling, this paper proposes the application of annealed importance sampling. The results empirically demonstrate that compared to importance sampling, annealed importance sampling can reduce the variance of the estimate of the marginal likelihood exponentially in the number of data at a computational cost that scales only polynomially. The results on real data demonstrate that employing annealed importance sampling in the Pseudo-Marginal MCMC approach represents a step forward in the development of fully automated exact inference engines for GP models.

연구 동기 및 목표

• 가우시안 프로세스 분류기에서 커널 파라미터의 베이지안 추론을 향상시키기 위해 마진널 리크리에이션 추정치의 분산을 줄이는 것.
• GP 모델에 대한 가짜-마진널 MCMC에서 표준 인포턴스 샘플링의 한계를 해결하는 것.
• 최적화 기반 방법보다 더 신뢰성 있게 커널 파라미터의 불확실성을 측정할 수 있는 확장 가능하고 정확한 추론 프레임워크를 개발하는 것.
• 실제 데이터 응용에서 안네일드 인포턴스 샘플링이 표준 인포턴스 샘플링보다 실용적인 이점을 보여주는 것.

제안 방법

• 논문은 추정이 불가능한 마진널 리크리에이션을 인포턴스 샘플링을 통해 비편향된 추정치로 대체하는 가짜-마진널 MCMC를 사용한다.
• 표준 인포턴스 샘플링의 대안으로 분산을 줄이기 위해 안네일드 인포턴스 샘플링(AIS)을 도입한다.
• AIS는 단순한 제안 분포와 목표 사후분포 사이의 중간 분포 시퀀스를 구성하여 샘플링 효율을 향상시킨다.
• 목표 밀도가 점차 증가하는 분포의 경로를 사용함으로써 마진널 리크리에이션의 더 정확하고 안정적인 추정이 가능해진다.
• AIS의 계산 비용은 데이터 크기와 다항식 비례하게 증가하지만, 분산 감소는 데이터 포인트 수에 대해 지수적으로 이루어진다.
• 이 방법은 GP 분류기의 전체 베이지안 추론 파이프라인에 통합되어 자동화되고 정확한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 안네일드 인포턴스 샘플링은 표준 인포턴스 샘플링에 비해 GP 분류에서 마진널 리크리에이션 추정치의 분산을 더 효과적으로 줄일 수 있는가?
• RQ2 데이터 포인트 수에 따라 지수적으로 분산 감소를 달성하면서도 계산 가능성을 유지하는가?
• RQ3 AIS 기반 가짜-마진널 MCMC는 커널 파라미터의 불확실성을 측정하는 데 있어 표준 최적화 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 실세계 데이터셋에 대해 신뢰할 수 있는 불확실성 추정과 함께 실용적으로 적용될 수 있는가?

주요 결과

• 안네일드 인포턴스 샘플링은 데이터 포인트 수에 따라 마진널 리크리에이션 추정치의 분산을 지수적으로 감소시켜 추정 정확도를 크게 향상시킨다.
• AIS 기반 방법의 계산 비용은 데이터 크기와 다항식 비례하게 증가하여 더 큰 데이터셋에 대해서도 실현 가능하다.
• 표준 인포턴스 샘플링에 비해 AIS는 GP 분류기의 가짜-마진널 MCMC에서 더 안정적이고 신뢰할 수 있는 사후분포 추정치를 제공한다.
• 실제 데이터에 대한 실험 결과는 제안된 방법이 더 강력하고 자동화된 베이지안 추론을 가능하게 하며, 더 나은 불확실성 측정을 제공함을 보여준다.