[논문 리뷰] Scalable Bayes via Barycenter in Wasserstein Space

Sanvesh Srivastava, Cheng Li외 1명|arXiv (Cornell University)|2015. 08. 24.

Markov Chains and Monte Carlo Methods참고 문헌 41인용 수 42

한 줄 요약

이 논문은 분산된 데이터 서브셋에서의 사후 표본을 조합하기 위해 워셔슈타인 공간 내의 바리센터를 사용하는 확장 가능한 베이지안 추론 방법을 제안한다. 최적 운반 기하학을 활용하여 전체 데이터 사후 분포를 이론적 보장과 함께 정확하게 근사하며, 시뮬레이션과 실제 데이터에서 기존 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

Divide-and-conquer based methods for Bayesian inference provide a general approach for tractable posterior inference when the sample size is large. These methods divide the data into smaller subsets, sample from the posterior distribution of parameters in parallel on all the subsets, and combine posterior samples from all the subsets to approximate the full data posterior distribution. The smaller size of any subset compared to the full data implies that posterior sampling on any subset is computationally more efficient than sampling from the true posterior distribution. Since the combination step takes negligible time relative to sampling, posterior computations can be scaled to massive data by dividing the full data into a sufficiently large number of data subsets. One such approach relies on the geometry of posterior distributions estimated across different subsets and combines them through their barycenter in a Wasserstein space of probability measures. We provide theoretical guarantees on the accuracy of approximation that are valid in many applications. We show that the geometric method approximates the full data posterior distribution better than its competitors across diverse simulations and reproduces known results when applied to a movie ratings database.

연구 동기 및 목표

• 고차원 우도와 메모리 제약으로 인해 전체 데이터에 대한 베이지안 추론이 계산적으로 불가능한 문제를 해결한다.
• 모수적 가정에 의존하거나 사후 분포 지지역이 불일치하는 문제를 겪는 기존 분할-통합 방법의 한계를 극복한다.
• 기하학적 구조와 불확실성을 유지하는 일반적이고 비모수적 사후 표본 조합 방법을 개발한다.
• 넓은 조건 하에서 워셔슈타인 바리센터 근사의 이론적 일致성 보장을 제공한다.
• 분산 샘플링과 기하학적 조합을 통해 통신 및 계산 비용을 줄여 실용적인 확장성을 확보한다.

제안 방법

• 전체 데이터셋을 k개의 상호배타적 서브셋으로 나누어 각 서브셋에서 병렬적으로 사후 분포를 추출한다.
• 일致성을 확보하기 위해 1/k 거듭제곱으로 승진된 수정된 사전분포를 사용하여 각 서브셋에서 사후 분포를 샘플링한다.
• 각 서브셋 사후 분포를 워셔슈타인 공간 내의 경험적 확률 측도로 표현한다.
• 선형 프로그래밍을 사용하여 이러한 경험적 측도의 워셔슈타인 바리센터를 계산함으로써 전역 사후 근사를 도출한다.
• 사전분포를 분수 거듭제곱으로 승진시켰을 때도 MCMC 샘플링이 가능하도록 데이터 증강을 활용한다.
• 질량 보존 및 적절한 가중치 조건을 만족시키는 제약 조건 하에 측도 간 총 운반 비용을 최소화하는 선형 프로그래밍 문제로 바리센터 문제를 해결한다.

실험 결과

연구 질문

• RQ1 기존 방법들과 비교해 볼 때, 서브셋 사후 분포의 워셔슈타인 바리센터가 전체 데이터 사후 분포를 더 정확하게 근사할 수 있는가?
• RQ2 바리센터를 통한 기하학적 조합 방식은 이론적 일치성과 유한 표본 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 서브셋 사후 분포의 지지역이 다를 경우나 비정규 분포일 경우에도 이 방법이 양호한 성능을 유지하는가?
• RQ4 대규모 데이터셋에서 표준 MCMC 및 변분 추론과 비교해 이 방법의 계산 효율성은 어떠한가?
• RQ5 잠재 변수와 비공액 사전분포를 가진 복잡한 계층 모델에 이 방법을 적용할 수 있는가?

주요 결과

• 워셔슈타인 바리센터 방법은 미약한 정규성 조건 하에서 전체 데이터 사후 분포에 대해 일관된 근사를 제공하며, 서브셋 수에 따라 스케일링되는 이론적 오차 한계를 가진다.
• 다양한 시뮬레이션 연구에서, 커널 밀도 조합 및 컨SENSUS MCMC와 같은 경쟁 방법들보다 사후 정확도 및 커버리지 측면에서 뛰어난 성능을 보였다.
• 실제 영화 평점 데이터셋에서 기존에 알려진 결과를 성공적으로 재현하여 방법의 경험적 타당성과 강건성을 입증하였다.
• 데이터 증강을 활용함으로써 사전분포를 정수가 아닌 거듭제곱으로 승진시켰을 경우에도 수정된 서브셋 사후 분포에서 MCMC 샘플링이 가능해졌다.
• 바리센터를 계산하기 위한 선형 프로그래밍 공식은 계산적으로 타당하며 표준 솔버를 통해 효율적으로 해결할 수 있다.
• 서브셋 간 샘플링을 분산화함으로써 상당한 계산 속도 향상을 이뤘으며, 同시에 높은 사후 충실도를 유지하였다.