[논문 리뷰] Average of Recentered Parallel MCMC for Big Data

Changye Wu, Christian P. Robert|arXiv (Cornell University)|2017. 06. 15.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 5

한 줄 요약

이 논문은 분할된 데이터에서 얻은 재중앙화되고 재스케일링된 부분사후분포의 MCMC 표본을 조합하여 대용량 데이터를 위한 확장 가능한 베이지안 추론 방법을 제안한다. 각 부분사후분포의 우도를 데이터 분할 수로 스케일링하고 평균을 중심으로 재중앙화함으로써, 최소한의 계산 오버헤드로 정확한 사후분포 근사가 가능해지며, 기존의 병렬 MCMC 방법보다 통계적 타당성과 효율성 면에서 뛰어나다.

ABSTRACT

In big data context, traditional MCMC methods, such as Metropolis-Hastings algorithms and hybrid Monte Carlo, scale poorly because of their need to evaluate the likelihood over the whole data set at each iteration. In order to resurrect MCMC methods, numerous approaches belonging to two categories: divide-and-conquer and subsampling, are proposed. In this article, we study the parallel MCMC and propose a new combination method in the divide-and-conquer framework. Compared with some parallel MCMC methods, such as consensus Monte Carlo, Weierstrass Sampler, instead of sampling from subposteriors, our method runs MCMC on rescaled subposteriors, but share the same computation cost in the parallel stage. We also give the mathematical justification of our method and show its performance in several models. Besides, even though our new methods is proposed in parametric framework, it can been applied to non-parametric cases without difficulty.

연구 동기 및 목표

• 전통적인 MCMC 방법이 전체 데이터 우도를 반복마다 평가해야 하는 계산 비용이 과도한 대용량 데이터 환경에서의 확장성 한계를 해결하기 위해.
• 기존의 분할-통합 MCMC 방법을 개선하여 부분사후분포 조합에서 발생하는 편향을 줄이고 통계적 일致성을 확보하기 위해.
• 기본 병렬 MCMC와 동일한 계산 비용을 유지하면서 재스케일링된 부분사후분포의 재중앙화와 평균화를 통해 더 높은 정확도를 제공하는 방법을 개발하기 위해.
• 모수적 및 비모수적 베이지안 모델에 모두 동일하게 적용 가능한 수학적으로 타당한 프레임워크를 제공하기 위해.

제안 방법

• 데이터 세트를 동일한 크기의 K개의 부분집합으로 분할하고, 각 부분집합의 로그우도를 K로 스케일링하여 부분사후분포를 구성함으로써, 부분사후분포의 분산이 전체 사후분포와 유사하게 만든다.
• 각 재스케일링된 부분사후분포에서 독립적으로 MCMC를 실행하여 표본을 생성하고, 각 부분집합에 대한 사후평균 θ*ᵢ를 도출한다.
• 각 부분사후분포 평균을 평균내어 전역 중심점 ȳ* = (1/K)∑θ*ᵢ를 계산한다.
• 각 MCMC 표본 세트에서 자신의 사후평균을 빼고 전역 평균을 더함으로써, 전체 사후기대값을 중심으로 재중앙화된 표본을 얻는다.
• 모든 K개의 부분집합에서 재중앙화된 표본을 평균내어 최종적으로 전체 사후분포의 근사치를 도출한다.
• 조합 단계에서 추가적인 MCMC 실행을 피하고 단순한 재중앙화와 평균화에 의존함으로써 계산적으로 효율적이다.

실험 결과

연구 질문

• RQ1 재가중과 재중앙화를 통해 부분사후분포를 조정하는 분할-통합 MCMC 접근법이, 공통의 몬테카를로 방법보다 더 높은 통계적 정확도를 달성할 수 있는가?
• RQ2 분할 수 K로 부분사후분포를 재스케일링하면 전체 사후분포의 척도와 일치하는 부분사후분포 분산을 얻을 수 있는가? 이는 근사 품질 향상에 기여하는가?
• RQ3 단순 평균화를 통해 재중앙화된 부분사후분포를 조합할 경우, 추가적인 MCMC 샘플링 없이도 타당하고 정확한 진짜 사후분포 근사치를 도출할 수 있는가?
• RQ4 이론적 근거가 모수적 프레임워크에서 유도되었지만, 비모수적 베이지안 모델에서는 이 방법이 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 특히 고차원 및 복잡한 모델에서 공통의 몬테카를로 방법과 기타 병렬 MCMC 방법에 비해 사후분포 근사 정확도에서 뚜렷한 향상을 보였다.
• 재스케일링된 부분사후분포의 재중앙화와 평균화는 시뮬레이션 연구에서 밀도도를 통해 전체 데이터 MCMC 사후분포와 매우 유사한 근사치를 도출함을 입증했다.
• 병렬 단계에서 표준 병렬 MCMC와 동일한 계산 비용을 유지하며, 조합 단계에서만 무시할 만한 정도의 오버헤드만 발생하여 대규모 데이터에 매우 효율적이다.
• 베르슈타인-보른 마이저스 정리에 기반한 이론적 근거는 우도와 사전분포에 대한 미약한 정규성 조건 하에서 방법의 점근적 타당성을 뒷받침한다.
• N=10⁶ 및 K=50인 혼합모델 시뮬레이션에서, 각 MCMC 체인에서 전체 데이터의 일부만 처리했음에도 불구하고, 제안된 방법은 전체 MCMC 결과와 시각적으로나 통계적으로 구분되지 않는 사후추정치를 생성했다.