[논문 리뷰] Estimating Ratios of Normalizing Constants Using Linked Importance Sampling

Radford M. Neal|ArXiv.org|2005. 11. 08.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 50

한 줄 요약

이 논문은 베이지안 통계 및 통계역학에서 정규화 상수의 비율을 추정하기 위한 연결 중요도 샘플링(Linked Importance Sampling, LIS)을 소개한다. 중간 분포의 순차적 시퀀스에서 브릿지 샘플링 유사 추정을 각 단계에 적용함으로써, LIS는 특히 꼬리가 얇거나 희귀 사건이 발생하는 문제에서 애너일드 중요도 샘플링(Annealed Importance Sampling, AIS)보다 훨씬 더 정확한 추정을 달성하면서도, 마르코프 체인의 평형에 도달하지 못한 경우에도 정확한 비편향성을 유지한다.

ABSTRACT

Ratios of normalizing constants for two distributions are needed in both Bayesian statistics, where they are used to compare models, and in statistical physics, where they correspond to differences in free energy. Two approaches have long been used to estimate ratios of normalizing constants. The `simple importance sampling' (SIS) or `free energy perturbation' method uses a sample drawn from just one of the two distributions. The `bridge sampling' or `acceptance ratio' estimate can be viewed as the ratio of two SIS estimates involving a bridge distribution. For both methods, difficult problems must be handled by introducing a sequence of intermediate distributions linking the two distributions of interest, with the final ratio of normalizing constants being estimated by the product of estimates of ratios for adjacent distributions in this sequence. Recently, work by Jarzynski, and independently by Neal, has shown how one can view such a product of estimates, each based on simple importance sampling using a single point, as an SIS estimate on an extended state space. This `Annealed Importance Sampling' (AIS) method produces an exactly unbiased estimate for the ratio of normalizing constants even when the Markov transitions used do not reach equilibrium. In this paper, I show how a corresponding `Linked Importance Sampling' (LIS) method can be constructed in which the estimates for individual ratios are similar to bridge sampling estimates. I show empirically that for some problems, LIS estimates are much more accurate than AIS estimates found using the same computation time, although for other problems the two methods have similar performance. Linked sampling methods similar to LIS are useful for other purposes as well.

연구 동기 및 목표

• 베이지안 추론 및 통계역학에서 정규화 상수의 비율을 추정하기 위한 애너일드 중요도 샘플링(Annealed Importance Sampling, AIS)의 더 정확한 대체 방법을 개발하는 것.
• 분포 간 오버랩이 열악하거나 꼬리가 무거운 경우 단순 중요도 샘플링과 브릿지 샘플링의 한계를 해결하는 것.
• 마르코프 체인 전이가 평형에 도달하지 못한 경우에도 정확한 비편향성을 유지하는 방법을 구축하는 것.
• 브릿지 샘플링 추정을 사용해 중간 분포를 연결함으로써 AIS에 비해 추정 효율성이 향상되는지 탐구하는 것.
• 고차원 또는 다모드 설정에서 LIS가 AIS를 능가하는 조건을 조사하는 것, 특히 고립된 모드를 포함한 경우에 대해

제안 방법

• 각 인접한 분포 간 비율 추정에 단순 중요도 샘플링 대신 브릿지 샘플링 접근법을 사용하는 AIS의 변종으로 연결 중요도 샘플링(LIS)을 제안한다.
• 대상 분포 π₀와 π₁를 연결하는 ηj로 매개변수화된 중간 분포의 시퀀스를 사용하며, 이들 간 전이에는 메트로폴리스-하스팅스 알고리즘이 적용된다.
• 현재 및 다음 분포 상태를 모두 포함하는 확장된 상태 공간에서의 공동 샘플링 기반으로, 비율의 곱을 정확하게 추정한다.
• 에너지 차이를 바탕으로 한 형태 exp(−(ηj+1−ηj)(U(x,y1)−U(x,y0)))를 사용하여 확장된 공간 내 상태 간 전이의 수용 확률을 유도한다.
• 각 단계에서의 마르코프 단계 수 Kj를 유연하게 조정할 수 있는 프레임워크를 도입하며, 고에너지 상태에서 저에너지 상태로의 다중 '투어'(tours) 수행이 샘플링 품질 향상에 기여할 수 있음을 제안한다.
• 각 중간 분포에 대해 단일 전이만 허용하는 방식으로 방법을 확장하여, AIS와 유사한 매끄러운 추정을 추구하지만, 브릿지 샘플링 구성 요소를 통해 분산 제어를 향상시킨다.

실험 결과

연구 질문

• RQ1 중간 분포의 순차적 시퀀스에서 각 단계에서 브릿지 샘플링 추정을 사용하는 방법이, 정규화 상수의 비율을 추정하는 데 있어 AIS를 능가할 수 있는가?
• RQ2 LIS가 AIS보다 상당히 더 정확한 성능을 보이는 조건은 무엇인가? 특히 고차원 또는 다모드 문제에서의 경우에 대해.
• RQ3 LIS의 상위 수준에서 브릿지 샘플링을 사용하면 단순 중요도 샘플링에 비해 추정 효율성이 더욱 향상되는가?
• RQ4 꼬리가 얇거나 희귀 사건이 발생하는 문제에서 LIS는 AIS가 분포 간 오버랩이 열악하여 실패할 수 있는 상황에서 어떻게 성능을 발휘하는가?
• RQ5 예를 들어 각 단계에서 다중 '투어'를 수행하는 등의 적응형 샘플링 전략이 LIS의 성능을 향상시키면서 계산 비용을 과도하게 증가시키지 않는가?

주요 결과

• 마르코프 체인 전이가 평형에 도달하지 못한 경우에도 LIS는 정규화 상수의 비율에 대해 정확한 비편향 추정을 제공한다.
• 꼬리가 얇거나 희귀 사건이 발생하는 문제에서는, 중간 분포를 정교하게 선택해 오버랩을 향상시키면 LIS가 AIS보다 상당히 더 정확한 성능을 보인다.
• 분산 비율이 2인 100차원 구형 정규분포에서의 실험 결과, LIS와 AIS는 유사한 성능을 보였으며, 이는 가우시안 설정에서는 이점이 없음을 시사한다.
• 희귀 사건을 정의하는 제약 조건이 포함된 문제에서 LIS는 특히 유망하며, AIS는 영역 확률이 0이 되는 영역으로 인해 실패할 수 있지만, LIS는 더 나은 혼합성과 정확도를 유지한다.
• 유한한 수의 중간 분포만 이용 가능한 경우(예: 순차적 중요도 샘플링에서), LIS는 각 단계에서 더 나은 오버랩과 더 안정적인 추정 덕분에 AIS를 능가할 수 있다.
• 다중 모드 설정에서도 LIS는 강건하며, 고립된 모드를 포함한 분포에서도 기대값 추정이 가능하다. 이는 AIS와 유사한 성능이다.