[논문 리뷰] MCMC Using Ensembles of States for Problems with Fast and Slow Variables such as Gaussian Process Regression

Radford M. Neal|arXiv (Cornell University)|2011. 01. 02.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 32

한 줄 요약

이 논문은 가우시안 프로세스 회귀와 같은 빠른 변수와 느린 변수를 가진 모델에서 샘플링 효율성을 향상시키기 위해 공동 공간에서 상태의 앙상블을 업데이트하는 앙상블 MCMC를 소개한다. 빠른 변수(예: 스케일링 인자)가 변경될 때 계산적 단순화를 활용함으로써 전체 계산 시간을 줄이고, 세부 균형을 유지하면서 고차원 사후 추론에서 혼합과 수렴을 크게 향상시킨다.

ABSTRACT

I introduce a Markov chain Monte Carlo (MCMC) scheme in which sampling from a distribution with density pi(x) is done using updates operating on an "ensemble" of states. The current state x is first stochastically mapped to an ensemble, x^{(1)},...,x^{(K)}. This ensemble is then updated using MCMC updates that leave invariant a suitable ensemble density, rho(x^{(1)},...,x^{(K)}), defined in terms of pi(x^{(i)}) for i=1,...,K. Finally a single state is stochastically selected from the ensemble after these updates. Such ensemble MCMC updates can be useful when characteristics of pi and the ensemble permit pi(x^{(i)}) for all i in {1,...,K}, to be computed in less than K times the amount of computation time needed to compute pi(x) for a single x. One common situation of this type is when changes to some "fast" variables allow for quick re-computation of the density, whereas changes to other "slow" variables do not. Gaussian process regression models are an example of this sort of problem, with an overall scaling factor for covariances and the noise variance being fast variables. I show that ensemble MCMC for Gaussian process regression models can indeed substantially improve sampling performance. Finally, I discuss other possible applications of ensemble MCMC, and its relationship to the "multiple-try Metropolis" method of Liu, Liang, and Wong and the "multiset sampler" of Leman, Chen, and Lavine.

연구 동기 및 목표

• 빠른 변수와 느린 변수를 모두 가진 모델에서 표준 MCMC의 비효율성을 해결하기 위해, 전체 사후 분포 업데이트가 계산적으로 비용이 많이 드는 상황을 대비한다.
• 기존 MCMC의 한계를 극복하기 위해 상태의 앙상블을 사용하여 사후 분포 탐색을 더 효율적으로 수행한다.
• 앙상블 공간에서 불변 분포가 유지되도록 하는 프레임워크를 개발하여, 빠른 변수만 업데이트할 경우 밀도 평가를 더 빠르게 수행할 수 있도록 한다.
• 빠른 변수를 마진화하는 이상적인 방식에 가까워지되, 느린 변수는 그들의 완전 조건부 분포에 기반해 업데이트하는 데서 앙상블 MCMC가 성능을 발휘할 수 있음을 보여준다.
• 가우시안 프로세스 회귀와 같은 계층 모델에서 표준 MCMC의 확장 가능한 대안으로서 앙상블 MCMC의 이론적 및 실용적 기반을 마련한다.

제안 방법

• 기본 측도를 사용하여 단일 상태 $x \in \mathcal{X}$ 를 앙상블 $ (x^{(1)}, \dots, x^{(K)}) \in \mathcal{X}^K $ 로 확률적으로 매핑하며, 이때 빠른 변수는 앙상블 구성원 간 공유된다.
• 앙상블 밀도 $ \rho(x^{(1)}, \dots, x^{(K)}) \propto \sum_{i=1}^K \pi(x^{(i)}) $ 를 정의하여, 빠른 변수만 업데이트될 경우 효율적인 계산을 가능하게 한다.
• 불변 앙상블 밀도 $ \rho $ 를 유지하는 제안 분포를 사용하여 앙상블 공간 $ \mathcal{X}^K $ 에서 MCMC 업데이트를 수행한다.
• 앙상블 업데이트 후, 앙상블에서 무작위로 하나의 상태를 선택하여 원래 상태 공간 $ \mathcal{X} $ 로 복귀시키며, 전체 체인의 목표가 $ \pi(x) $ 가 되도록 보장한다.
• 계산적 단순화를 활용한다: 빠른 변수(예: 총 스케일 또는 노이즈 분산)만 변경될 경우, 전체 밀도 $ \pi(x) $ 를 모든 앙상블 구성원에 대해 전체 재평가 없이도 신속히 재계산할 수 있다.
• 앙상블을 사용하여 빠른 변수를 효율적으로 통합함으로써 느린 변수에 대한 사후 분포의 근사치를 도출하며, 이상화된 조건부 업데이트를 모방한다.

실험 결과

연구 질문

• RQ1 빠른 변수와 느린 변수를 가진 모델에서 개별 상태 대신 상태의 앙상블을 이용해 MCMC 샘플링을 가속화할 수 있는가?
• RQ2 밀도 평가가 비용이 많이 드는 상황에서, 앙상블 MCMC가 표준 MCMC보다 계산적 이점을 제공하는 조건은 무엇인가?
• RQ3 빠른 변수가 앙상블 구성원 간 공유될 때, 앙상블 MCMC가 세부 균형을 유지하면서도 이를 활용할 수 있는가?
• RQ4 알 수 없는 초모수를 가진 가우시안 프로세스 회귀에서 앙상블 MCMC는 혼합과 수렴을 얼마나 향상시킬 수 있는가?
• RQ5 앙상블 MCMC는 다중 시도 메트로폴리스 및 멀티셋 샘플러와 같은 기존 방법과 어떤 관계가 있는가?

주요 결과

• 빠른 변수(예: 스케일링 인자 또는 노이즈 분산)가 업데이트될 때 계산적 단순화를 활용함으로써, 앙상블 MCMC는 가우시안 프로세스 회귀 모델에서 샘플링 성능을 크게 향상시킨다.
• 빠른 변수가 공유되는 앙상블 상태의 공동 업데이트를 가능하게 하여, 표준 MCMC보다 더 나은 혼합과 더 빠른 수렴을 달성한다.
• 빠른 변수만 변경될 경우, $ K $ 명의 앙상블 구성원에 대한 밀도 $ \pi(x) $ 는 한 상태에 대해 계산하는 데 드는 비용의 $ K $ 배 이하로 계산할 수 있으며, 이는 상당한 속도 향상을 가능하게 한다.
• 개별 $ \pi(x^{(i)}) $ 의 합으로 정의된 앙상블 밀도 $ \rho $ 는 세부 균형을 보장하며, 이로 인해 올바른 마진 분포 $ \pi(x) $ 를 목표로 할 수 있다.
• 이 방법은 Leman, Chen, 그리고 Lavine (2009) 의 멀티셋 샘플러와 이론적으로 동일하지만, 계산적 단순화를 식별하는 데 더 체계적인 프레임워크를 제공한다.
• 특히 빠른 변수의 변경이 전체 밀도를 앙상블 전역에서 신속히 재평가할 수 있도록 허용할 경우, 계산적 단순화가 존재하는 한 표준 MCMC보다 앙상블 MCMC가 성능을 뛰어나게 한다.