[논문 리뷰] The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models

Óli Páll Geirsson, Birgir Hrafnkelsson외 2명|arXiv (Cornell University)|2015. 06. 20.

Statistical Methods and Bayesian Inference참고 문헌 7인용 수 4

한 줄 요약

이 논문은 잠재 가우시안 모델(LGMs)을 위한 MCMC 스플릿 샘플러를 제안한다. 이는 잠재 매개변수를 데이터가 많은 블록과 데이터가 적은 블록으로 분할함으로써 계산 효율성을 향상시키는 두 블록 고갈 샘플링 기법이다. 데이터가 적은 블록의 가우시안 구조를 활용하여 우도 함수에 의존하지 않는 효율적 샘플링을 가능하게 하며, 고차원 잠재 필드와 어떤 매개변수 우도 함수에도 잘 스케일링된다.

ABSTRACT

A novel computationally efficient Markov chain Monte Carlo (MCMC) scheme for latent Gaussian models (LGMs) is proposed in this paper. The sampling scheme is a two block Gibbs sampling scheme designed to exploit the model structure of LGMs. We refer to the proposed sampling scheme as the MCMC split sampler. The principle idea behind the MCMC split sampler is to split the latent Gaussian parameters into two vectors. The former vector consists of latent parameters which appear in the data density function, while the latter vector consists of latent parameters which do not appear in it. The former vector is placed in the first block of the proposed sampling scheme and the latter vector is placed in the second block along with any potential hyperparameters. The resulting conditional posterior density functions within the blocks allow the MCMC split sampler to handle, by design, LGMs with latent models imposed on more than just the mean structure of the data density function. The MCMC split sampler is also designed to be applicable for any choice of a parametric data density function. Moreover, it scales well in terms of computational efficiency when the dimension of the latent model increase.

연구 동기 및 목표

• 복잡한 우도 구조를 가진 잠재 가우시안 모델(LGMs)의 사후 추론에서 발생하는 계산 과제를 해결하기 위해.
• 잠재 필드가 데이터 우도의 평균 이외의 여러 매개변수에 영향을 주는 경우 MCMC 샘플링의 믹싱과 수렴을 향상시키기 위해.
• 비가우시안 우도와 고차원 잠재 구조를 가진 LGMs에 적용 가능한 확장성 있고 효율적인 MCMC 기법을 개발하기 위해.
• 한 블록에서 가우시안 조건부 사후분포를 고립시켜 샘플링 기법의 모odular 설계를 가능하게 하기 위해.

제안 방법

• 잠재 매개변수를 두 블록으로 분할한다: 데이터 우도에 나타나는 매개변수(데이터가 많은 블록)와 나타나지 않는 매개변수(데이터가 적은 블록).
• 데이터가 적은 블록의 조건부 사후분포는 알려진 가우시안 분포이며, 데이터 우도 함수의 선택과 무관하다.
• 데이터가 적은 블록은 희소 GMRF 정밀도 구조를 활용하여 확장성 있는 효율적 알고리즘(예: Knorr-Held와 Rue(2002)의 원-블록 샘플러)을 사용해 샘플링한다.
• 데이터가 많은 블록은 우도의 구조에 맞게 조정된 민감한 기법(예: MALA 또는 HMC)을 사용해 샘플링한다.
• 전체 기법은 두 블록을 번갈아 가며 고갈 샘플링을 수행하며, 데이터가 적은 블록의 사후분포는 해석적으로 다룰 수 있고 계산적으로 효율적이다.
• 이 방법은 모듈러하다: 각 블록의 샘플링 전략은 독립적으로 개발 및 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 잠재 효과가 우도의 평균 이외의 여러 매개변수에 영향을 주는 경우, 잠재 가우시안 모델에서 MCMC 샘플링의 효율성을 어떻게 높일 수 있는가?
• RQ2 우도 함수의 형태에 영향을 받지 않는 한 블록의 사후분포를 가지는 고갈 샘플러를 설계할 수 있는가? 이는 더 빠르고 안정적인 샘플링을 가능하게 한다.
• RQ3 잠재 필드의 차원이 증가함에 따라 제안된 스플릿 샘플러는 어느 정도 스케일링되는가?
• RQ4 우도를 지수족 형태로 제한하지 않고서도 LGMs의 MCMC 계산 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 데이터가 적은 블록의 조건부 사후분포는 알려진 가우시안 분포이며, 데이터 우도 함수와 무관하므로 매우 효율적인 샘플링이 가능하다.
• 데이터가 적은 블록에서 희소 GMRF 정밀도 구조를 유지함으로써 잠재 필드의 차원이 증가하더라도 기법이 잘 스케일링된다.
• 데이터가 적은 블록의 계산 효율성은 하이퍼매개변수 샘플링 기법에만 의존하므로 전체 기법이 모듈러하고 확장 가능하다.
• 데이터가 적은 블록의 가우시안 구조 덕분에, 우도의 종류에 관계없이 Knorr-Held와 Rue(2002)의 효율적 원-블록 샘플러를 사용할 수 있다.
• 이 방법은 비가우시안 우도 함수를 포함한 어떤 매개변수 우도 함수에도 적용 가능하므로, 기존 표준 모델을 초월한 적용 범위를 넓힌다.
• 각 블록의 샘플링 기법을 별도로 최적화할 수 있어 유연성과 성능 향상이 가능하다.