[논문 리뷰] Parallelizing MCMC with Random Partition Trees

Xiangyu Wang, Fangjian Guo외 2명|arXiv (Cornell University)|2015. 06. 10.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 32

한 줄 요약

이 논문은 대규모 데이터셋에서 효율적이고 확장 가능하며 정확한 베이지안 추론을 가능하게 하는 새로운 비어 있는 병렬 MCMC 알고리즘인 PART를 제안한다. 이 알고리즘은 무작위 분할 트리를 사용하여 부분 후행 표본을 집계하며, 커널 기반 방법의 지수적 혼합 성분 폭발과 대역폭 민감성 문제를 피함으로써 이론적 보장과 뛰어난 경험적 성능을 갖춘 일관된 후행 근사치를 달성한다. 무작위 분할을 통한 다중 척도 히스토그램 구축을 통해 PART는 커널 기반 방법의 단점을 피하고, 이론적 보장과 함께 일관된 후행 근사치를 달성한다.

ABSTRACT

The modern scale of data has brought new challenges to Bayesian inference. In particular, conventional MCMC algorithms are computationally very expensive for large data sets. A promising approach to solve this problem is embarrassingly parallel MCMC (EP-MCMC), which first partitions the data into multiple subsets and runs independent sampling algorithms on each subset. The subset posterior draws are then aggregated via some combining rules to obtain the final approximation. Existing EP-MCMC algorithms are limited by approximation accuracy and difficulty in resampling. In this article, we propose a new EP-MCMC algorithm PART that solves these problems. The new algorithm applies random partition trees to combine the subset posterior draws, which is distribution-free, easy to resample from and can adapt to multiple scales. We provide theoretical justification and extensive experiments illustrating empirical performance.

연구 동기 및 목표

• 대규모 데이터셋에서 기존 MCMC의 계산적 병목 현상을 해결하기 위해 데이터 부분집합 간 병렬 샘플링을 가능하게 한다.
• 기존 EP-MCMC 방법의 한계, 즉 리샘플링 효율성이 낮고 커널 밀도 추정에서 대역폭 선택에 민감한 문제를 해결한다.
• 다양한 척도에 적응하고 혼합 성분 수의 지수적 증가를 방지하는 분포 무관의 확장 가능한 조합 규칙을 개발한다.
• 후행 표본 수가 증가함에 따라 집계된 후행 분포의 이론적 일관성을 확보한다.
• 정확성을 유지하면서도 통신 없이 병렬 MCMC 실행이 가능한 실용적이고 효율적인 알고리즘을 제공한다.

제안 방법

• 무작위 분할 트리를 사용하여 다중 척도 히스토그램(블록 K 히스토그램)을 구성하여 매개변수 공간을 상호배타적인 직사각형 블록으로 분할한다.
• 각 부분 후행 분포에 대해, 각 블록 내 후행 표본 수에 비례하는 가중치를 갖는 K개 블록에 대한 정규화된 히스토그램으로 밀도를 추정한다.
• 전체 후행 분포가 부분 후행 분포의 곱에 비례하는 제품 밀도 식(PDE)을 통해 부분 후행 분포를 조합한다.
• 정확도를 유지하면서 지수적 성분 증가를 방지하는 트리 기반 병합 전략을 사용해 밀도 추정치를 반복적으로 쌍별로 집계한다.
• 무작위 분할 방식을 적용하여 국소 밀도 구조와 다중 척도에 적응할 수 있도록 보장한다.
• 트리 구조 히스토그램에서 유도된 제안 분포를 사용하는 메트로폴리스-하스팅스 알고리즘을 통해 집계된 밀도에서 리샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 커널 기반 방법에서 혼합 성분 수가 기하급수적으로 증가하는 문제를 피하면서도 분포 무관하고 확장 가능한 조합 규칙을 EP-MCMC에 적용할 수 있는가?
• RQ2 비정규, 비대칭 또는 다모드 후행 분포에 대해 집계 과정을 어떻게 강건하게 만들 수 있는가?
• RQ3 무작위 분할 트리가 커널 밀도 추정기보다 리샘플링 효율성을 얼마나 향상시키고 혼합 시간을 얼마나 줄일 수 있는가?
• RQ4 후행 표본 수가 증가함에 따라 제안된 방법이 후행 근사치에서 이론적 일관성을 달성하는가?
• RQ5 다양한 데이터 척도와 복잡한 후행 구조에서 정확성과 효율성을 유지할 수 있는가?

주요 결과

• PART는 후행 근사치에서 이론적 일관성을 달성하며, 후행 표본 수가 증가함에 따라 진동 거리(total variation distance)가 O((4C₀D)^{log₂m+1}ε)로 유계가 된다.
• 블록 수에 따라 선형적으로 증가하는 트리 구조 히스토그램 표현을 사용함으로써 커널 기반 방법의 지수적 성분 폭발 문제를 피한다.
• 경험적 결과는 PART-KD/ML이 이중 모드 및 희귀 사건 베르누이 예제에서 다른 방법보다 뛰어나게 성능을 발휘하며, 국소 스무딩으로 인한 잘못된 리피플릿을 피하고 후행 질량을 정확히 포착함을 보여준다.
• 실제 데이터셋(Covertype 및 MiniBooNE)에서 베이지안 로지스틱 회귀에 적용했을 때, 충분한 후행 표본을 사용하면 전체 우도 MCMC와 유사한 예측 정확도를 달성한다.
• 이 방법은 이질적인 부분 후행 분포에 대해 강건하며, 다양한 척도에서 정확성을 유지하며, 척도 탐지에서 비모수적 및 준모수적 대안보다 뛰어난 성능을 보인다.
• 집계된 PART 밀도에서의 리샘플링은 커널 기반 혼합 분포보다 훨씬 효율적이며, 구조화되고 저차원적인 히스토그램 표현 덕분에 기각률이 낮고 혼합 속도가 빠르다.