[논문 리뷰] Annealed Importance Sampling

Radford M. Neal|ArXiv.org|1998. 03. 08.

Bayesian Methods and Mixture Models인용 수 118

한 줄 요약

이 논문은 고차원적이고 다모드적인 분포에서 정규화 상수와 기대값을 정확하게 추정할 수 있도록, 마르코프 체인 몬테카를로(MCMC)와 중요도 샘플링을 조합한 안네일드 중요도 샘플링(AIS)을 소개한다. 이 방법은 중간 분포의 순차적 시퀀스를 사용하여 가중치가 부여된 샘플을 생성하며, 표준 MCMC에 비해 수렴 진단에 대한 의존도가 감소하고 수렴 보장이 있는 특징을 지닌다.

ABSTRACT

Simulated annealing - moving from a tractable distribution to a distribution of interest via a sequence of intermediate distributions - has traditionally been used as an inexact method of handling isolated modes in Markov chain samplers. Here, it is shown how one can use the Markov chain transitions for such an annealing sequence to define an importance sampler. The Markov chain aspect allows this method to perform acceptably even for high-dimensional problems, where finding good importance sampling distributions would otherwise be very difficult, while the use of importance weights ensures that the estimates found converge to the correct values as the number of annealing runs increases. This annealed importance sampling procedure resembles the second half of the previously-studied tempered transitions, and can be seen as a generalization of a recently-proposed variant of sequential importance sampling. It is also related to thermodynamic integration methods for estimating ratios of normalizing constants. Annealed importance sampling is most attractive when isolated modes are present, or when estimates of normalizing constants are required, but it may also be more generally useful, since its independent sampling allows one to bypass some of the problems of assessing convergence and autocorrelation in Markov chain samplers.

연구 동기 및 목표

• 표준 MCMC 방법이 느린 혼합과 나쁜 수렴을 겪는 고차원적이고 다모드적인 분포에서의 샘플링 문제를 해결하기 위해.
• 베이지안 추론과 통계역학에서 핵심적인 역할을 하는 정규화 상수를 추정하기 위한 강력한 방법을 제공하기 위해.
• MCMC에서 흔히 사용되는 수렴 평가와 자기상관 진단에 대한 의존도를 줄이기 위해, 안네일링된 분포의 시퀀스로부터 독립적인 샘플을 사용하기 위해.
• 기존 중요도 샘플링이 나쁜 제안 분포로 인해 실패하는 고립된 모드가 존재하는 문제에서 정확한 추정을 가능하게 하기 위해.

제안 방법

• 제안 분포에서 목표 분포로 점차적으로 안네일링하는 온도 유사 매개변수를 사용하여, 단순한 초기 분포에서 목표 분포로 이르는 중간 분포의 시퀀스를 구성한다.
• 각 샘플에 대해, 이전 안네일링 단계의 최종 분포에서 다음 단계로의 마르코프 체인을 실행하여 중간 분포를 거쳐가는 경로를 생성한다.
• 안네일링 경로를 따라 비정규화된 밀도 비율의 곱으로 중요도 가중치를 계산하며, 이는 목표 분포 하에서 기대값의 가중치가 부여된 추정을 가능하게 한다.
• 중요도 샘플링 추정기법은 정규화된 가중치를 사용하여 기대값을 계산하며, 독립적인 안네일링 런 수가 증가할수록 수렴 보장이 있다.
• 최종 안네일링 단계에서의 독립적 샘플에 의존하기 때문에, 번리닝(burn-in)과 수렴 진단이 필요로 하지 않는다.
• 순차적 중요도 샘플링을 일반화하며, 열역학적 통합과 유사하지만, 정규화 상수 비율의 사전 추정이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 고차원적이고 다모드적인 분포에서 성능이 우수한 중요도 샘플링 분포를 정의하기 위해 마르코프 체인의 시퀀스를 사용할 수 있는가?
• RQ2 직접 계산이 불가능한 복잡한 분포에서 정규화 상수를 정확하게 추정할 수 있는가?
• RQ3 MCMC와 중요도 샘플링을 조합함으로써 MCMC에서 흔한 수렴 진단과 자기상관 평가에 대한 의존도를 줄일 수 있는가?
• RQ4 안네일링 스케줄과 중간 분포가 중요도 가중치의 분산에 미치는 영향은 무엇인가?

주요 결과

• 안네일드 중요도 샘플링은 독립적인 샘플 수가 증가할수록 목표 분포 하에서 기대값에 대해 일致한 추정을 제공하며, 수렴 보장이 있다.
• 이 방법은 정규화 상수를 정확하게 추정할 수 있으며, 이는 베이지안 모델 비교와 통계역학에서 특히 유용하다.
• 표준 MCMC와 달리, AIS는 번리닝이나 수렴 진단이 필요로 하지 않으며, 각 런 간에 샘플이 독립적이다.
• 정규화된 중요도 가중치의 분산이 주요 오차 원천이며, 큰 꼬리 분포를 가진 가중치 분포는 큰 샘플 수가 있더라도 신뢰할 수 없는 추정을 초래할 수 있다.
• 다모드성이 존재할 경우 특히 효과적이며, 안네일링 경로 덕분에 기존 MCMC보다 먼 모드를 더 효과적으로 탐색할 수 있다.
• 차원 수에 따라 계산 비용이 선형적으로 증가하며, 고차원 MCMC에서의 느린 혼합의 본질적 비용 외에도, 다모드 설정에서는 표준 MCMC보다 더 강건한 성능을 유지한다.