[논문 리뷰] Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models

Aki Vehtari, Tommi Mononen외 3명|arXiv (Cornell University)|2014. 12. 23.

Gaussian Processes and Bayesian Inference참고 문헌 56인용 수 58

한 줄 요약

이 논문은 라플라스 및 기대값 전파(EP) 사후 근사 방법을 사용하여 가우시안 잠재변수 모델에서 베이지안 이탈리프오차검증(LOO)을 위한 빠르고 정확한 근사법을 제안한다. LOO의 근사에서 완전 데이터 사후 분포에 대한 근사 후, LOO의 주변분포(공석 분포)에 대해 가우시안 근사를 적용하는 것이 가장 정확하고 효율적인 방법임을 입증한다. 이 방법은 전체 데이터 사후 추론 이후에 추가 비용이 거의 들지 않으며, 매우 효율적이다.

ABSTRACT

The future predictive performance of a Bayesian model can be estimated using Bayesian cross-validation. In this article, we consider Gaussian latent variable models where the integration over the latent values is approximated using the Laplace method or expectation propagation (EP). We study the properties of several Bayesian leave-one-out (LOO) cross-validation approximations that in most cases can be computed with a small additional cost after forming the posterior approximation given the full data. Our main objective is to assess the accuracy of the approximative LOO cross-validation estimators. That is, for each method (Laplace and EP) we compare the approximate fast computation with the exact brute force LOO computation. Secondarily, we evaluate the accuracy of the Laplace and EP approximations themselves against a ground truth established through extensive Markov chain Monte Carlo simulation. Our empirical results show that the approach based upon a Gaussian approximation to the LOO marginal distribution (the so-called cavity distribution) gives the most accurate and reliable results among the fast methods.

연구 동기 및 목표

• 가우시안 잠재변수 모델(GLVMs)에서 베이지안 이탈리프오차검증(LOO)을 위한 효율적이고 정확한 근사법을 개발하기 위해.
• 완전한 브루트포스 LOO 계산과 비교하여 라플라스 및 기대값 전파(EP) 방법 기반의 LOO 근사의 정확도를 평가하기 위해.
• 정확도와 계산 비용 측면에서 다양한 LOO 근사 기법의 성능을 비교하기 위해.
• 마르코프 체인 몬테카를로(MCMC)를 기준 진실값으로 삼아, 라플라스 및 EP 사후 근사의 정확도를 평가하기 위해.
• 공석 분포 기반 LOO 근사가 정확도와 계산 효율성의 최적의 균형을 이룬다는 것을 입증하기 위해.

제안 방법

• GLVMs에서 잠재변수의 사후 분포를 근사하기 위해 라플라스 방법과 기대값 전파(EP)를 사용한다.
• LOO 주변분포(공석 분포)에 대해 가우시안 근사를 적용하여 빠른 LOO 교차검증 추정치를 계산한다.
• 완전 데이터 사후 근사 형성 이후에 추가 비용을 최소화하여 LOO 근사를 계산한다.
• 공석 분포 접근법을 사용하여 각 생략된 관측치의 예측 성능을 추정한다.
• 공석 기반 LOO를 순간 보정(LA-CM2, EP-FACT) 및 MCMC를 통한 정확한 LOO와 비교한다.
• GLVMs의 인수 분해 가능 likelihood 구조를 활용하여, 전체 사후 추론을 다시 실행하지 않고도 효율적인 LOO 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MCMC를 통한 정확한 LOO 계산과 비교할 때, 라플라스 및 EP 방법 기반의 빠른 LOO 교차검증 근사는 얼마나 정확한가?
• RQ2 공석 분포, 순간 보정, 직접 근사 중 어느 방법이 가장 정확한 예측 성능 추정치를 제공하는가?
• RQ3 기본 사후 추론에 비해 공석 분포 접근법을 사용한 LOO 계산의 계산 오버헤드는 얼마인가?
• RQ4 라플라스 및 EP 근사 방법은 MCMC 기반 기준 진실값과 비교하여 사후 정확도 측면에서 어떻게 다른가?
• RQ5 공석 분포 방법은 최소한의 계산 비용으로 GLVMs에서 모델 선택 및 성능 평가에 신뢰성 있게 사용될 수 있는가?

주요 결과

• 공석 분포 기반 LOO 근사는 빠른 LOO 방법 중에서 가장 정확하고 신뢰할 수 있는 결과를 제공하며, 순간 보정 및 직접 근사 기법을 능가한다.
• 공석 기반 방법은 전체 데이터 사후 근사 후 추가적인 계산 비용이 거의 들지 않아 매우 효율적이다.
• 프로비트 가능도의 경우, GPstuff-EP는 GPstuff-LA보다 1.5~5배 느리며, 로그로그니스틱 가능도와 케일링된 경우 GPstuff-EP는 느린 적분 기반 순간 계산으로 인해 약 18배 느리다.
• GPstuff-EP는 GPML-EP보다 10~25배 빠르며, 더 나은 벡터화 및 병렬 업데이트 덕분에 구현 효율성이 뛰어나다.
• 전역 가우시안 변분(KL) 방법은 GPML-EP보다 70~500배 느리며, 비록 동일한 O(n³) 스케일링을 보이지만 높은 계산 오버헤드를 확인할 수 있다.
• 스테이던트의 t 가능도의 경우, GPstuff의 강건한-EP 구현이 잘 작동하지만, GPML-KL은 수렴이 제대로 이루어지지 않아 상당한 성능 저하를 보였다.