[논문 리뷰] Exact Subsampling MCMC

Matias Quiroz, Minh‐Ngoc Tran외 2명|arXiv (Cornell University)|2016. 03. 27.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 25

한 줄 요약

이 논문은 비편향성 최대우도 추정과 중요도 샘플링 보정을 조합하여 계산 효율성을 확보하면서도 완전한 통계 정확성을 유지하는 정확한 서브샘플링 MCMC 방법을 제안한다. 양의 최소값과 제어 변수를 사용하여 최대우도 추정치가 항상 양수이면서 분산이 낮게 유지되도록 하며, 절대값에 대해 상관된 가짜-모수 MCMC를 적용한 후, 분산이 낮은 중요도 샘플링을 통해 부호를 보정한다.

ABSTRACT

Speeding up Markov Chain Monte Carlo (MCMC) for datasets with many observations by data subsampling has recently received considerable attention in the literature. Most of the proposed methods are approximate, and the only exact solution has been documented to be highly inefficient. We propose a simulation consistent subsampling method for estimating expectations of any function of the parameters using a combination of MCMC subsampling and the importance sampling correction for occasionally negative likelihood estimates in Lyne et al. (2015). Our algorithm is based on first obtaining an unbiased but not necessarily positive estimate of the likelihood. The estimator uses a soft lower bound such that the likelihood estimate is positive with a high probability, and computationally cheap control variables to lower variability. Second, we carry out a correlated pseudo marginal MCMC on the absolute value of the likelihood estimate. Third, the sign of the likelihood is corrected using an importance sampling step that has low variance by construction. We illustrate the usefulness of the method with two examples.

연구 동기 및 목표

• 대규모 데이터셋에서 여전히 계산 비용이 과도한 기존의 정확한 서브샘플링 MCMC 방법의 비효율성을 해결한다.
• 근사 서브샘플링 방법의 한계를 극복하여 정확한 사후 추론을 유지하면서도 계산 비용을 줄인다.
• 계산 가능성을 희생시키지 않고 사후 기대값의 비편향 추정을 보장하는 방법을 개발한다.
• 제어 변수와 소프트 최소값을 통해 최대우도 추정의 분산을 최소화하여 샘플링 효율성을 향상시킨다.
• 서브샘플링과 견고한 보정 기법을 조합하여 대규모 데이터셋에서 정확한 MCMC의 실용적 적용을 가능하게 한다.

제안 방법

• 개별 서브샘플이 음수 값을 낼 수 있음에도 불구하고, 최대우도 추정치가 높은 확률로 양수가 되도록 소프트 최소값을 사용한다.
• 분산을 줄이기 위해 제어 변수를 사용하여 비편향이지만 잠재적으로 음수일 수 있는 최대우도 추정치를 구성한다.
• 절대값에 대해 상관된 가짜-모수 MCMC를 적용하여 상세 균형을 유지하고 정확한 사후 분포로의 수렴을 보장한다.
• 분산이 낮게 유지되도록 설계된 중요도 샘플링 단계를 통해 최대우도 추정치의 부호를 보정한다.
• 최대우도 추정치의 구조를 활용하여 MCMC의 타당성을 유지하면서도 대규모 데이터셋에서 효율적인 계산을 가능하게 한다.
• 서브샘플링과 중요도 샘플링 보정을 조합하여 전체 데이터 MCMC의 계산 부담 없이 정확한 추론을 달성한다.

실험 결과

연구 질문

• RQ1 정확한 서브샘플링 MCMC 방법을 설계할 수 있는가? 이는 계산 비용을 크게 줄이면서도 통계 정확성을 유지할 수 있다.
• RQ2 서브샘플링에서 유도된 음수 최대우도 추정치를 편향이나 높은 분산 없이 어떻게 보정할 수 있는가?
• RQ3 제어 변수와 소프트 최소값은 대규모 데이터셋에서 최대우도 추정의 안정성과 분산 감소에 어떤 역할을 하는가?
• RQ4 절대 최대우도 추정치에 대해 상관된 가짜-모수 MCMC를 효과적으로 적용할 수 있는가? 이는 정확한 사후 추론을 유지하는가?
• RQ5 기존의 근사 및 정확한 서브샘플링 MCMC 방법과 비교해 볼 때, 제안된 방법은 효율성과 정확성 면에서 어떻게 다른가?

주요 결과

• 비편향 최대우도 추정과 낮은 분산을 갖는 중요도 샘플링 보정을 조합함으로써 제안된 방법은 정확한 사후 추론을 달성한다.
• 소프트 최소값의 사용으로 최대우도 추정치가 높은 확률로 양수가 유지되어 안정적인 MCMC 샘플링이 가능해진다.
• 제어 변수는 최대우도 추정치의 분산을 크게 감소시켜 MCMC 알고리즘의 효율성을 향상시킨다.
• 절대 최대우도 추정치에 대해 적용된 상관된 가짜-모수 MCMC 단계는 상세 균형을 유지하고 정확한 사후 분포로의 수렴을 보장한다.
• 최대우도 추정치의 부호를 보정하기 위한 중요도 샘플링 보정은 설계상 분산이 낮게 유지되어 전체 샘플링 효율성을 향상시킨다.
• 두 가지 예제에 대한 실증적 검증을 통해 제안된 방법이 기존의 정확한 및 근사 서브샘플링 접근법에 비해 실용성과 계산적 우수성을 입증하였다.