[논문 리뷰] The block-Poisson estimator for optimally tuned exact subsampling MCMC

Matias Quiroz, Minh‐Ngoc Tran외 3명|arXiv (Cornell University)|2016. 03. 27.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 5

한 줄 요약

이 논문은 대규모 데이터셋에서 효율적인 사후 추론을 가능하게 하는 정확한 서브샘플링 MCMC를 위한 새로운 비편향 우도 추정기인 블록-포아송 추정기( block-Poisson estimator)를 제안한다. 블록 단위의 포아송 샘플링과 제어 변수, 소프트 하한을 사용함으로써 로그 우도 추정치 간의 높은 상관관계를 달성하여, MCMC 효율성을 저하시키지 않은 채 더 작은 서브샘플 크기를 허용한다. 주요 기여는 계산 제약 조건 하에서 점근적 분산을 최소화하는 데 최적의 서브샘플 크기 선택을 위한 닫힌 형태의 지침을 도출한 것이다.

ABSTRACT

Speeding up Markov Chain Monte Carlo (MCMC) for datasets with many observations by data subsampling has recently received considerable attention. A pseudo-marginal MCMC method is proposed that estimates the likelihood by data subsampling using a block-Poisson estimator. The estimator is a product of Poisson estimators, allowing us to update a single block of subsample indicators in each MCMC iteration so that a desired correlation is achieved between the logs of successive likelihood estimates. This is important since pseudo-marginal MCMC with positively correlated likelihood estimates can use substantially smaller subsamples without adversely affecting the sampling efficiency. The block-Poisson estimator is unbiased but not necessarily positive, so the algorithm runs the MCMC on the absolute value of the likelihood estimator and uses an importance sampling correction to obtain consistent estimates of the posterior mean of any function of the parameters. Our article derives guidelines to select the optimal tuning parameters for our method and shows that it compares very favourably to regular MCMC without subsampling, and to two other recently proposed exact subsampling approaches in the literature.

연구 동기 및 목표

• 대규모 데이터셋에서 표준 MCMC의 계산적 병목 현상을 해결하기 위해 효율적인 데이터 서브샘플링을 가능하게 하기.
• 연속적인 로그 우도 추정치 간의 높은 상관관계를 지원하는 비편향 우도 추정기를 개발하여 더 작은 서브샘플로도 MCMC 혼합 성능을 향상시키기.
• 가짜 우도 MCMC에서의 음수 우도 추정치 문제를 절대값 추정과 중요도 샘플링 보정을 조합하여 해결하기.
• 고정된 계산 예산 조건 하에서 점근적 분산을 최소화하는 실용적인 닫힌 형태의 최적 서브샘플 크기 선택 지침을 도출하기.

제안 방법

• 블록-포아송 추정기는 데이터 블록에 대한 포아송 추정기의 곱으로 우도 추정치를 구성하여, 각 MCMC 반복에서 서브샘플 지표를 선택적으로 업데이트할 수 있도록 한다.
• Bardenet 등(2017)과 Quiroz 등(2019)의 제어 변수를 사용하여 블록 수준 추정기의 분산을 감소시킨다.
• 엄격한 하한 대신 구성 요소 배치 추정기들에 소프트 하한을 적용하여 계산 효율성을 향상시키면서도 음수 추정치를 허용한다.
• 음수 우도 추정치는 서명된 PMMH 방식으로 처리된다: 추정기의 절대값에 대해 MCMC를 실행한 후, 사후 평균 추정을 위해 중요도 샘플링 보정을 실시한다.
• 블록-포아송 추정기 하에서 중요도 샘플링 추정기의 점근적 분산에 대한 닫힌 형태의 표현식을 유도하여 서브샘플 크기의 최적 조정이 가능해진다.
• 계산 예산을 고려하여 점근적 분산을 최소화함으로써 최적의 조정을 달성하며, MCMC 비효율성, 추정기 비용, 음수 추정치 발생 확률 간의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 기존의 서브샘플링 방법보다 블록-포아송 추정기가 더 높은 로그 우도 추정치 간 상관관계를 달성할 수 있는가? 이를 통해 MCMC 효율성을 저하시키지 않은 채 더 작은 서브샘플 크기를 사용할 수 있는가?
• RQ2 가짜 우도 MCMC에서 발생하는 음수 우도 추정치를 효율적으로 처리하면서도 사후 일致성을 유지할 수 있는가?
• RQ3 고정된 계산 예산 조건 하에서 사후 평균 추정기의 점근적 분산을 최소화하는 최적의 서브샘플 수는 얼마인가?
• RQ4 서명된 PMMH와 함께 블록-포아송 추정기를 사용할 경우, 최적 서브샘플 크기 선택을 위한 닫힌 형태의 지침을 도출할 수 있는가?

주요 결과

• 블록-포아송 추정기는 Bardenet 등(2017)에서 사용한 Rhee-Glynn 추정기보다 더 낮은 분산을 달성하여 추정 효율성을 향상시킨다.
• 소프트 하한을 사용함으로써 엄격한 하한 대비 계산 비용을 감소시키면서도 음수 추정치는 중요도 샘플링을 통해 보정할 수 있다.
• 블록-포아송 추정기 하에서 중요도 샘플링 추정기의 점근적 분산이 닫힌 형태로 유도되었으며, 이는 서브샘플 크기의 정밀 최적화를 가능하게 한다.
• 유도된 최적 서브샘플 크기 조정 지침은 이상적인 가정 하에서도 경험적 실험에서 매우 정확한 성능을 보였다.
• 샘플링 효율성과 계산 비용 측면에서 표준 MCMC와 다른 두 가지 최근의 정확한 서브샘플링 접근법보다 본 방법이 뛰어나다.