[논문 리뷰] Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|2016. 12. 07.

Bayesian Methods and Mixture Models참고 문헌 8인용 수 3

한 줄 요약

이 논문은 순차적 몬테카를로(SMC) 샘플러의 출력과 그 목표 사후분포 사이의 대칭 KL 발산에 대한 상한을 추정하기 위해 확률적 프로그래밍 기반 메타-추론 방법을 제안한다. SMC 알고리즘의 실행 이력 u(보조 변수)를 생성하는 메타-샘플러를 구성함으로써, 비점근적 수렴 분석이 가능한 비편향 몬테카를로 추정치를 활용할 수 있으며, 이때 유용성은 메타-추론 분포의 정확도에 의해 결정된다.

ABSTRACT

A key limitation of sampling algorithms for approximate inference is that it is difficult to quantify their approximation error. Widely used sampling schemes, such as sequential importance sampling with resampling and Metropolis-Hastings, produce output samples drawn from a distribution that may be far from the target posterior distribution. This paper shows how to upper-bound the symmetric KL divergence between the output distribution of a broad class of sequential Monte Carlo (SMC) samplers and their target posterior distributions, subject to assumptions about the accuracy of a separate gold-standard sampler. The proposed method applies to samplers that combine multiple particles, multinomial resampling, and rejuvenation kernels. The experiments show the technique being used to estimate bounds on the divergence of SMC samplers for posterior inference in a Bayesian linear regression model and a Dirichlet process mixture model.

연구 동기 및 목표

• 일반적으로 진짜 사후분포에서 멀리 떨어진 출력을 생성하는 순차적 몬테카를로(SMC) 샘플러의 근사 오차를 정량화하는 데 도전하는 것.
• 단일 입자나 안내 기반 방법을 넘어서, 다수의 입자와 MCMC 재생 기반 커널을 사용하는 SMC 샘플러를 포함한 광범위한 클래스에 대해 대칭 KL 발산을 둘러싸는 기존 방법을 확장하는 것.
• 확률적 프로그래밍 프레임워크를 활용하여 SMC 샘플러의 실용적이고 비점근적인 수렴 평가를 가능하게 하는 것.
• 출력에 대해 보조 변수의 조건부 분포를 근사하는 정확한 메타-추론 샘플러를 활용하여 발산 상한의 날카기 정도를 향상시키는 것.

제안 방법

• 샘플러의 출력 z가 주어졌을 때 실행 이력 u(보조 변수)를 생성하는 메타-추론 샘플러 $ q(u;z) $ 를 구성하여, $ p(u,z) $ 와 $ q(u;z) $ 에 대한 동시 샘플링을 가능하게 한다.
• 식 (2)에 제시된 추정치를 통해 확장된 공간에서 대칭 KL 발산의 비편향 몬테카를로 추정치를 사용하여, 비정규화된 사후분포와 연합 샘플러 밀도의 로그 오즈 비율을 비교한다.
• 기존의 AIS 및 SIR에 대한 메타-추론 구성 방식을 일반적인 SMC 샘플러(다중 입자, 다항식 재표본화 포함)와 MCMC 재생 커널을 처리할 수 있도록 일반화한다.
• 가중치 계산을 변경하지 않고도 SMC 알고리즘에 세부 균형 커널의 순환을 사용할 수 있도록 하기 위해, 이를 단일 단계로 압축하고 로그-가중치 표현식을 유지한다.
• 확률적 프로그래밍을 활용하여 연합 확률 $ p(u,z) $ 와 제안 분포 $ q(u;z) $ 를 자동으로 유도함으로써, 발산 상한의 종단 간 추정을 가능하게 한다.
• 실제 모델, 즉 베이지안 선형 회귀와 딜레트 분포 혼합 모델에 대해 적용하여 상한의 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 샘플러와 골드 스탠다드 사후분포 샘플러에만 접근할 수 있는 상황에서, 일반적인 SMC 샘플러의 출력과 그 목표 사후분포 사이의 대칭 KL 발산에 대한 상한을 추정할 수 있는가?
• RQ2 메타-추론 분포 $ q(u;z) $ 의 정확도가 발산 상한의 날카기 정도에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 단일 입자 또는 안내 기반 기법을 초월하여 MCMC 재생 커널과 다수의 입자를 사용하는 SMC 샘플러에 적용 가능한가?
• RQ4 각 개별 커널이 세부 균형 조건을 만족하지 않더라도, SMC 알고리즘이 세부 균형 커널의 순환을 포함하는 경우에도 방법이 유효한가?
• RQ5 이 방법은 확률적 프로그래밍 플랫폼에 어떻게 통합되어 자동 수렴 진단 기능을 제공할 수 있는가?

주요 결과

• 이 방법은 샘플러와 골드 스탠다드 사후분포 샘플러에만 접근할 수 있는 조건에서, SMC 샘플러 출력과 진짜 사후분포 사이의 대칭 KL 발산에 대한 비점근적 상한을 제공한다.
• 상한은 사후분포 $ \pi(z) $ 와 SMC 샘플러 $ p(u,z) $, 그리고 메타-추론 분포 $ q(u;z) $ 에서의 샘플링이 필요한 비편향 몬테카를로 추정치를 통해 추정된다.
• 상한의 날카기 정도는 $ q(u;z) $ 가 진짜 조건부 분포 $ p(u|z) $ 를 얼마나 잘 근사하는지에 직접적으로 영향을 받으며, 더 정확한 근사가 더 날카운 상한을 제공한다.
• 이 방법은 다수의 입자와 MCMC 재생을 포함하는 완전한 SMC 샘플러에 대해 이전의 AIS 및 SIR 연구를 일반화하여, 실제 모델에 대한 적용 가능성을 높인다.
• 역순환을 메타-추론에서 사용하는 한, SMC 커널에 세부 균형 커널의 순환을 포함하는 경우에도 방법이 유효하며, 가중치 표현식을 유지한다.
• 베이지안 선형 회귀와 딜레트 분포 혼합 모델에 대한 실증적 평가를 통해, 이 방법이 실질적인 추론 환경에서의 실행 가능성과 유용성을 확인한다.