[논문 리뷰] Slice sampling covariance hyperparameters of latent Gaussian models

Iain Murray, Ryan P. Adams|arXiv (Cornell University)|2010. 06. 04.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 117

한 줄 요약

이 논문은 비정규 우도를 가진 잠재 가우시안 모델, 특히 가우시안 프로세스에서 초모수 추론을 위한 슬라이스 샘플링 방법을 제안한다. 새로운 서rogate 데이터 표현과 후행 지점 재매개변수화를 활용하여, 조정이 필요 없는 강력한 MCMC 샘플링을 가능하게 하며, 강한 데이터 및 약한 데이터 환경 모두에서 혼합 성능을 크게 향상시킨다. 이는 표준 메트로폴리스-하스팅스 및 기존 슬라이스 샘플러를 뛰어넘는 성능을 보인다.

ABSTRACT

The Gaussian process (GP) is a popular way to specify dependencies between random variables in a probabilistic model. In the Bayesian framework the covariance structure can be specified using unknown hyperparameters. Integrating over these hyperparameters considers different possible explanations for the data when making predictions. This integration is often performed using Markov chain Monte Carlo (MCMC) sampling. However, with non-Gaussian observations standard hyperparameter sampling approaches require careful tuning and may converge slowly. In this paper we present a slice sampling approach that requires little tuning while mixing well in both strong- and weak-data regimes.

연구 동기 및 목표

• 비정규 우도를 가진 잠재 가우시안 모델에서 MCMC 초모수 추론의 느린 혼합과 높은 조정 민감도 문제를 해결하기 위해.
• 최소한의 조정으로도 사용 가능한 일반적인 초모수 공분산 샘플링 방법을 개발하기 위해.
• 표준 방법이 종종 실패하는 강한 데이터 및 약한 데이터 환경에서 사후 분포 탐색을 향상시키기 위해.
• 복잡한 우도를 가진 가우시안 프로세스 모델에서 베이지안 추론을 위한 실용적이고 즉시 사용 가능한 솔루션을 제공하기 위해.
• 백색화된 사전분포를 간단히 재매개변수화하는 것만으로도 표준 조건부 업데이트 방식을 능가할 수 있음을 보여주기 위해.

제안 방법

• 초모수 θ에 대한 슬라이스 샘플링 접근법을 제안하며, 효율적인 샘플링을 가능하게 하기 위해 우도를 재매개변수화하는 서rogate 데이터 모델을 도입한다.
• 후행 지점 재매개변수화를 사용하여 조건부 사후분포 P(θ|f)를 슬라이스 샘플링에 적합한 형태로 변환함으로써 최소한의 조정으로도 성능을 확보한다.
• 문제에 특화된 유도가 필요 없이 다양한 공분산 구조와 우도에 대해 작동하는 강력한 표현 방식을 사용한다.
• 서rogate 데이터 방법과 슬라이스 샘플링을 조합하여 세부 균형을 유지하고 정확한 사후분포로 수렴함을 보장한다.
• 가우시안 및 비가우시안 우도 모두에 적용 가능하며, 비균일한 포isson 관측치를 가진 콕스 프로세스 모델을 포함한다.
• 잠재 변수 f 와 초모수 θ 사이의 종속성을 줄이기 위해 잠재 변수와 초모수를 분리하는 재매개변수화를 적용함으로써 혼합 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비정규 우도를 가진 잠재 가우시안 모델에서 초모수 추론에 대해 슬라이스 샘플링을 강력하고 조정이 필요 없는 방식으로 구현할 수 있는가?
• RQ2 강한 데이터 및 약한 데이터 환경 모두에서 제안된 슬라이스 샘플러의 성능이 표준 메트로폴리스-하스팅스 및 기존 슬라이스 샘플러와 비교해 어떻게 되는가?
• RQ3 서rogate 데이터와 후행 지점 재매개변수화가 직접적인 조건부 업데이트와 비교해 MCMC 혼합 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법이 포isson 및 이진 결과를 포함한 다양한 우도 모델에서도 효율성을 유지하는가?
• RQ5 실제 적용에서 백색화된 사전분포와 같은 단순한 재매개변수화 방식이 표준 조건부 업데이트 기법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 서rogate 데이터와 후행 지점 재매개변수화를 적용한 제안된 슬라이스 샘플링 방법은 특히 약한 데이터 환경에서 표준 메트로폴리스-하스팅스 및 기존 슬라이스 샘플러보다 훨씬 우수한 혼합 성능을 보였다.
• 이온오스피어 분류 작업에서 surr-site 방법은 베이스라인보다 뚜렷한 우위를 보였으며, 유효 표본 크기가 최대 2~3배 높았다.
• 광산 재해 데이터셋에서는 모든 제안된 방법이 양호한 성능을 보였지만, surr-site와 surr-taylor가 영향을 받는 0개수 카테고리 처리에 더 유리하여 뛰어난 성능을 보였다.
• 고도로 희소한(많은 0개수 카테고리 포함) 레드우드 나무 데이터셋에서 surr-taylor는 post-taylor 및 prior-white를 능가했으며, 이는 현장 사후분포를 근사하는 데서 유리함을 보여주었다.
• 후행 지점 및 surr-site 방법은 비가우시안 설정에서 prior-white 및 기준 방법보다 더 강력한 성능을 보였다.
• 심지어 백색화된 사전분포와 같은 단순한 재매개변수화 방식이라도 혼합 성능을 크게 향상시켰으며, 이는 실무에서 우선 고려되어야 할 사항임을 시사한다.