[논문 리뷰] Simple, Scalable and Accurate Posterior Interval Estimation

Cheng Li, Sanvesh Srivastava외 1명|arXiv (Cornell University)|2016. 05. 13.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 데이터 서브셋에서 병렬로 마르코프 체인 몬테카를로(MCMC)를 실행하고 결과로 얻은 분위수 추정치를 평균화하는 간단하고 확장 가능하며 이론적으로 타당한 방법을 제안한다. 이는 대규모 데이터 환경에서 사후 구간 추정을 위해 제안된 것으로, 전체 데이터 MCMC와 유사한 높은 정확도를 달성하면서도 계산 효율성이 뛰어나고 코드 수정이 최소한이다.

ABSTRACT

There is a lack of simple and scalable algorithms for uncertainty quantification. Bayesian methods quantify uncertainty through posterior and predictive distributions, but it is difficult to rapidly estimate summaries of these distributions, such as quantiles and intervals. Variational Bayes approximations are widely used, but may badly underestimate posterior covariance. Typically, the focus of Bayesian inference is on point and interval estimates for one-dimensional functionals of interest. In small scale problems, Markov chain Monte Carlo algorithms remain the gold standard, but such algorithms face major problems in scaling up to big data. Various modifications have been proposed based on parallelization and approximations based on subsamples, but such approaches are either highly complex or lack theoretical support and/or good performance outside of narrow settings. We propose a very simple and general posterior interval estimation algorithm, which is based on running Markov chain Monte Carlo in parallel for subsets of the data and averaging quantiles estimated from each subset. We provide strong theoretical guarantees and illustrate performance in several applications.

연구 동기 및 목표

• 기존 MCMC가 너무 느려서 대규모 데이터 베이지안 추론에서 스케일이 불가능한 우수한 불확실성 정량화 문제를 해결한다.
• 일반적으로 사후 분산을 과소평가하는 경향이 있는 기존의 확장 가능한 방법들(예: 변분 베이즈)의 한계를 극복한다.
• 사후 신뢰구간을 추정하기 위해 계산 효율성과 이론적 타당성이 둘 다 확보된 방법을 개발한다.
• 이미 존재하는 MCMC 코드베이스를 최소한의 수정만으로 대규모 데이터셋에 스케일할 수 있도록 한다.
• 불가피하게 병렬 처리 프레임워크에서 복잡한 조합 절차를 대체할 수 있는, 이론적으로 지원되는 대안을 제공한다.

제안 방법

• 어려움이 없는 병렬 처리를 가능하게 하기 위해 전체 데이터셋을 겹치지 않는 서브셋으로 분할한다.
• 각 서브셋에 대해 독립적으로 표준 MCMC 알고리즘을 실행하여 서브셋 사후분포의 후행 표본을 생성한다.
• 각 일변도 기능적 양(예: 95% 신뢰구간)에 대해 각 서브셋의 사후 표본에서 경험적 분위수를 계산한다.
• 모든 서브셋의 하한 및 상한 분위수 추정치를 평균화하여 최종 사후 구간 추정치를 확보한다.
• 이 방법은 모델 재매개변수화에 대해 불변이며, 복잡한 밀도 추정 또는 기하학적 중심화 절차를 피한다.
• 이론적 분석을 통해 미약한 정규성 조건 하에서 평균화된 분위수 추정치의 일致성과 수렴 속도를 입증한다.

실험 결과

연구 질문

• RQ1 서브셋 사후분포의 분위수를 단순 평균화하는 방식이 대규모 데이터 환경에서 정확한 사후 구간 추정을 달성할 수 있는가?
• RQ2 제안된 방법의 성능은 전체 데이터 MCMC 및 변분 베이즈, 공통 몬테카를로와 같은 다른 확장 가능한 대안들과 비교해 어떻게 되는가?
• RQ3 제안된 프레임워크 하에서 평균화된 분위수 추정치의 정확성에 대한 이론적 보장은 무엇인가?
• RQ4 이 방법은 다양한 데이터 구조와 모형 유형에 걸쳐 좋은 커버리지 성질을 유지하고 강건한가?
• RQ5 기존 MCMC 코드베이스에 최소한의 수정만으로 구현 가능할 뿐 아니라 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• 미국 출생 데이터 분석에서 제안된 사후 구간 추정(PIE) 방법은 전체 데이터 MCMC와 거의 구분되지 않는 신뢰구간 추정치를 달성했다.
• 출생 데이터 응용 분석에서 PIE는 90% 신뢰구간을 생성하여 전체 데이터 MCMC 결과와 유사했으며, 절편의 평균 커버리지 정확도는 0.55(SD 0.12)로 MCMC 및 WASP와 유사했다.
• 모든 공변수에 걸쳐 뛰어난 성능을 보였으며, 정확도 지표(예: 임신 기간에 대해 0.91, 남성 성별에 대해 0.87)는 변분 베이즈 및 공통 몬테카를로를 능가하거나 유사하게 유지했다.
• 계산 측면에서 PIE는 전체 MCMC보다 훨씬 빠르며 다른 확장 가능한 방법들과도 경쟁 가능했으며, 데이터 크기와 선형적으로 실행 시간이 증가했다.
• 이론적 분석을 통해 평균화된 분위수 추정기의 일치성과 정규성 조건 하에서 O(1/√n)의 수렴 속도를 확인했다.
• PIE 방법은 '작은 부트스트랩의 가방'에 베이지안 해석을 제공하며, 이는 부트스트랩 분포의 워샤르슈타인 바리센터에 해당하는 신뢰구간을 의미한다.