[논문 리뷰] Measuring the reliability of MCMC inference with bidirectional Monte Carlo

Roger Grosse, Siddharth Ancha외 1명|arXiv (Cornell University)|2016. 06. 07.

Markov Chains and Monte Carlo Methods참고 문헌 2인용 수 6

한 줄 요약

이 논문은 WebPPL과 Stan과 같은 확률 프로그래밍 언어에서 MCMC 추론의 신뢰성 있는 검증을 가능하게 하기 위해, 근사 MCMC 샘플과 진짜 사후분포 사이의 대칭 KL 발산(제퍼리스 발산)을 경계하는 데 이중 방향 몬테카를로를 사용하는 BREAD라는 프로토콜을 소개한다. 이는 모델 표현 방식의 선택—예를 들어 잠재 변수를 통합하는 것—이 수렴 속도에 상당한 영향을 미친다는 것을 보여주며, WebPPL에서는 통합된 모델이 더 빨리 수렴하지만 Stan에서는 그렇지 않으며, 또한 WebPPL의 다변량 정규분포 샘플링에 심각한 버그를 드러내기도 한다.

ABSTRACT

Markov chain Monte Carlo (MCMC) is one of the main workhorses of probabilistic inference, but it is notoriously hard to measure the quality of approximate posterior samples. This challenge is particularly salient in black box inference methods, which can hide details and obscure inference failures. In this work, we extend the recently introduced bidirectional Monte Carlo technique to evaluate MCMC-based posterior inference algorithms. By running annealed importance sampling (AIS) chains both from prior to posterior and vice versa on simulated data, we upper bound in expectation the symmetrized KL divergence between the true posterior distribution and the distribution of approximate samples. We present Bounding Divergences with REverse Annealing (BREAD), a protocol for validating the relevance of simulated data experiments to real datasets, and integrate it into two probabilistic programming languages: WebPPL and Stan. As an example of how BREAD can be used to guide the design of inference algorithms, we apply it to study the effectiveness of different model representations in both WebPPL and Stan.

연구 동기 및 목표

• 블랙박스 확률 프로그래밍 시스템에서 MCMC 기반 사후분포 추론의 정확도를 평가하기 위한 신뢰할 수 있고 정량적인 측정 기준이 부족한 문제를 해결하기 위해.
• 전문가가 수렴 진단을 해석할 필요 없이도 일반적이고 자동적이며 엄밀한 방법으로 추론 품질을 모니터링하기 위해.
• 시뮬레이션된 데이터에서의 추론 성능이 실제 데이터에서의 성능을 정확히 반영하는지 확인하고, 벤치마킹 실험의 관련성을 보장하기 위해.
• 다양한 표현 방식 간의 수렴 행동을 정량적으로 비교함으로써 확률 프로그래밍에서 모델 표현 선택을 안내하기 위해.
• 전방 및 역방향 AIS 체인 간 이론적 일관성을 검증함으로써 확률 프로그래밍 시스템의 구현 버그를 탐지하기 위해.

제안 방법

• 이중 방향 몬테카를로(BDMC)를 확장하여 근사 사후분포 샘플과 진짜 사후분포 사이의 대칭 KL 발산(제퍼리스 발산)에 대한 기대값 상한을 추정한다.
• 확장된 상태 공간에서의 중요도 샘플링으로 간주할 수 있는 MCMC 기반 추론 알고리즘—예를 들어, 안내 중요도 샘플링(AIS)과 순차 몬테카를로(SMC)—에 이 방법을 적용한다.
• 정확한 사후분포 샘플에서 시작하는 역방향 AIS 체인을 통해 발산에 대한 상한을 계산하고, 전방 체인은 확률적 하한을 제공한다.
• BREAD(Bounding Divergences with REverse Annealing) 프로토콜을 도입하여 실제 데이터에서 초항수를 추론하고, 이를 기반으로 시뮬레이션 데이터를 생성하며, 시뮬레이션된 데이터에서 추론 품질을 평가함으로써 실제 데이터에 대한 관련성을 검증한다.
• BREAD를 WebPPL과 Stan에 통합하여, 이러한 확률 프로그래밍 프레임워크 내에서 추론 품질에 대한 자동적이고 종단 간 검증을 가능하게 한다.
• 실제 데이터와 시뮬레이션된 데이터 간의 추론 행동 일관성을 진단 도구로 사용하여, 역방향 체인에서 잘못된 사후분포 샘플링과 같은 구현 오류를 탐지한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 MCMC 기반 사후분포 추론의 정확도를 수렴 진단의 힌트에 의존하지 않고도 신뢰할 수 있고 정량적인 측정으로 확보할 수 있는가?
• RQ2 시뮬레이션된 데이터에서 MCMC 추론의 성능이 실제 세계 데이터에서의 성능을 어느 정도 반영하는가? 그리고 이를 어떻게 검증할 수 있는가?
• RQ3 다양한 모델 표현 방식—예를 들어, 잠재 변수를 통합한 것 대비 통합하지 않은 것—은 확률 프로그래밍 언어에서 MCMC 추론의 수렴 속도와 효율성에 어떤 영향을 미치는가?
• RQ4 이중 방향 몬테카를로의 이론적 보장은 확률 프로그래밍 시스템에서 미세한 구현 버그를 탐지하는 데 사용될 수 있는가?
• RQ5 다른 모델 파arameterization를 선택할 때 계산 효율성과 수렴 속도 사이의 상호 교환 관계에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• BREAD는 WebPPL의 다변량 정규분포 샘플링 루틴에서 심각한 버그를 성공적으로 탐지하였으며, 이는 역방향 AIS 체인이 전방 체인보다 낮은 로그우도 추정치를 내는 방식으로 이론적 보장에 위배되며 잘못된 사후분포 샘플을 생성하고 있음을 시사한다.
• Stan에서는 통합된 행렬 인수분해 모델이 MCMC 단계 수준에서 더 빨리 수렴하지만, 통합된 버전의 단계당 계산 비용이 더 높아서 전체 실행 시간 기준으로는 비통합 모델이 더 효율적이다.
• WebPPL에서는 통합된 행렬 인수분해 모델이 실행 시간 기준으로 상당히 더 빨리 수렴하여, 유사한 단계당 비용을 가짐에도 불구하고 해당 언어에서 선호되는 표현 방식이 된다.
• 작은 토이 예제에서는 제퍼리스 발산에 대한 BDMC 상한이 매우 정확하며, 진짜 발산과 상한 모두 정확하게 계산 가능하므로 방법의 신뢰성을 검증한다.
• 이 프로토콜은 시뮬레이션된 데이터에서의 추론 행동이 실제 데이터와 일관됨을 보여주며, 시뮬레이션된 벤치마킹 실험을 통해 추론 구성 및 모델 설계를 안내하는 데 유용함을 뒷받침한다.
• BREAD는 모델 표현 선택이 언어별로 영향을 미친다는 점을 드러내며, 잠재 변수를 통합하는 것이 WebPPL에서는 성능을 향상시키지만 Stan에서는 그렇지 않음을 보여주며, 언어에 맞는 모델 엔지니어링의 중요성을 강조한다.