[논문 리뷰] Markov Chain Truncation for Doubly-Intractable Inference

Colin Wei, Iain Murray|arXiv (Cornell University)|2016. 10. 15.

Bayesian Methods and Mixture Models인용 수 7

한 줄 요약

이 논문은 이중으로 비가역적인 추론 문제에서 정규화 상수 $1/Z$의 편향이 제거된 유한 기댓값 추정을 위한 새로운 마르코프 체인 기반 탈편향 알고리즘—FCE와 RBBCE—를 제안한다. 마르코프 체인 커플링과 러시안 룰렛 절단 기법을 활용하여, 중요도 샘플링 기반 대안보다 더 높은 양수 추정 비율과 낮은 분산을 달성함으로써 이소핑 모델 및 지수 무작위 그래프 모델과 같은 모델에서 더 효율적인 가짜 마르코프 체인 몬테카를로(MCMC) 샘플링을 가능하게 한다.

ABSTRACT

Computing partition functions, the normalizing constants of probability distributions, is often hard. Variants of importance sampling give unbiased estimates of a normalizer Z, however, unbiased estimates of the reciprocal 1/Z are harder to obtain. Unbiased estimates of 1/Z allow Markov chain Monte Carlo sampling of "doubly-intractable" distributions, such as the parameter posterior for Markov Random Fields or Exponential Random Graphs. We demonstrate how to construct unbiased estimates for 1/Z given access to black-box importance sampling estimators for Z. We adapt recent work on random series truncation and Markov chain coupling, producing estimators with lower variance and a higher percentage of positive estimates than before. Our debiasing algorithms are simple to implement, and have some theoretical and empirical advantages over existing methods.

연구 동기 및 목표

• 정규화 상수 $Z$의 추정치는 제공되지만 그 역수인 $1/Z$를 추정하는 문제에 대응한다.
• 기존 탈편향 방법의 한계—높은 분산과 음수 추정치—를 해결하여 이중 비가역 모델에서 효율적인 MCMC 샘플링을 가능하게 한다.
• 유한 기댓값을 보장하고 실제 적용에서의 성능을 향상시키는, 일반적이고 구현 가능한 $1/Z$ 추정을 위한 프레임워크를 개발한다.
• 마르코프 체인 기반 추정기들이 중요도 샘플링 기반 대안보다 후행 분포 샘플링에서 더 높은 양수 비율과 더 낮은 자기상관도를 보임을 입증한다.

제안 방법

• 중요도 샘플링 추정기 대신 마르코프 체인 과정에 러시안 룰렛 절단 기법을 적용하여, $1/Z$에 대한 편향 없는 추정을 구성한다.
• 기댓값 수렴이 $1/Z$로 수렴하는 추정기의 시퀀스 $Y^{(i)}$를 사용하며, 절단은 랜덤 정지 시간 $N$에 의해 결정된다.
• 최종 추정기를 $S = Y^{(0)} + \sum_{i=1}^{N} \frac{Y^{(i)} - Y^{(i-1)}}{\Pr(N \geq i)}$로 구성하여, 적분 가능성 조건 (2) 하에서 편향 없음을 보장한다.
• 상호연결된 마르코프 체인을 사용하여 추정기 안정성과 양수성 향상을 도모하는 FCE(Forward Coupling Estimator)와 RBBCE(Randomized Batched Batched Coupling Estimator)를 도입한다.
• 시리즈 차이 항의 적분 가능성 보장을 통해 추정기의 유한 기댓값을 확보한다.
• 선형적으로 증가하는 단계별 샘플 수를 가진 안네일드 중요도 샘플링(AIS)을 사용하여 $Y^{(i)}$를 구성함으로써, 지수적 샘플 증가를 피하고 확장 가능한 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 마르코프 체인 기반 탈편향 방법은 이론적으로 보장되는 조건 하에 $1/Z$에 대한 편향 없는, 유한 기댓값을 가진 추정을 생성할 수 있는가?
• RQ2 마르코프 체인 기반 추정기들은 중요도 샘플링 기반 대안보다 더 높은 비율의 양수 추정치를 제공하는가?
• RQ3 제안된 커플링 기반 마르코프 체인은 비커플링 추정기 대비 가짜 마르코프 체인 MCMC에서 후행 분포 샘플의 자기상관도를 감소시키는가?
• RQ4 제안된 프레임워크는 이소핑 및 지수 무작위 그래프와 같은 다양한 모델에서 낮은 분산과 높은 양수성 비율을 유지하는가?
• RQ5 샘플 증가율과 같은 자유 매개변수 조정이 필요 없이 최소한의 계산 오버헤드로 구현 가능한가?

주요 결과

• 이소핑 모델에서 RBBCE 추정기는 100,000회 반복 중 99,924개의 양수 추정치를 기록하여 FCE(97,597)와 IAE(96,538)를 크게 앞서며 뛰어난 성능을 보였다.
• 지수 무작위 그래프 모델에서는 RBBCE가 99,890개의 양수 추정치를 생성하여 다시 한 번 FCE(98,680)와 IAE(98,442)를 초월하며 양수성 향상을 입증했다.
• 마르코프 체인 기반 추정기들은 IAE 대비 낮은 경험적 자기상관도를 보였으며, 이는 더 빠른 혼합과 더 효율적인 후행 분포 탐색을 의미한다.
• 이론적 분석을 통해 RBBCE는 이전 방법이 샘플 증가율 조정이 필요로 하는 조건을 요구하는 것과 달리, 모든 상태 공간에서 추정기의 유한 기댓값을 보장함을 확인했다.
• 제안된 방법들은 일반적이며 기존의 가짜 마르코프 체인 MCMC 기법(예: 슬라이스 샘플링 또는 적응형 조정)과 결합해도 추가적인 복잡성 없이 적용 가능하다.
• 실험 결과는 더 높은 양수성과 낮은 자기상관도가 직접적으로 후행 분포 추정치의 낮은 분산으로 이어지며, 실질적으로 양수성의 히어리스틱 이점이 검증됨을 보여주었다.