[논문 리뷰] Unbiased Bayes for Big Data: Paths of Partial Posteriors

Heiko Strathmann, Dino Sejdinović외 1명|arXiv (Cornell University)|2015. 01. 14.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 15

한 줄 요약

이 논문은 부분 사후 경로와 비편향화 보조정리를 활용하여 빅데이터 환경에서 베이지안 사후 기대값을 편향 없이, 선형 이하의 계산 복잡도로 추정하는 방법을 제안한다. 이 방법은 유한하고 조절 가능한 분산을 달성하며, 근사 전이 핵을 도입하지 않거나 편향을 유발하지 않으면서도, 대규모 데이터셋에서 MCMC와 스위치 변분 추론(SVI)보다 정확도와 속도에서 뛰어나다.

ABSTRACT

A key quantity of interest in Bayesian inference are expectations of functions with respect to a posterior distribution. Markov Chain Monte Carlo is a fundamental tool to consistently compute these expectations via averaging samples drawn from an approximate posterior. However, its feasibility is being challenged in the era of so called Big Data as all data needs to be processed in every iteration. Realising that such simulation is an unnecessarily hard problem if the goal is estimation, we construct a computationally scalable methodology that allows unbiased estimation of the required expectations -- without explicit simulation from the full posterior. The scheme's variance is finite by construction and straightforward to control, leading to algorithms that are provably unbiased and naturally arrive at a desired error tolerance. This is achieved at an average computational complexity that is sub-linear in the size of the dataset and its free parameters are easy to tune. We demonstrate the utility and generality of the methodology on a range of common statistical models applied to large-scale benchmark and real-world datasets.

연구 동기 및 목표

• 빅데이터에서 마르코프 체인 몬테카를로(MCMC)의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해 전체 사후 분포 시뮬레이션을 피함.
• 미니배치 MCMC 방법에서 발생하는 사후 분포 근사로 인한 편향 문제를 해결함.
• 전체 사후 분포에서 시뮬레이션하지 않더라도 사후 기대값을 추정할 수 있는 프레임워크를 개발하여 비편향성과 유한한 분산을 보장함.
• 데이터 포인트 수 $ N $ 에 대해 평균 계산 복잡도를 선형 이하로 유지하면서도 정확도와 추정 오차 제어를 확보함.
• 모든 MCMC 또는 닫힌 형태의 추론 방법과 호환되는 일반 목적의 즉시 사용 가능한 솔루션 제공

제안 방법

• 랜덤으로 선택된 데이터 부분집합에서 유도된 부분 사후 통계량에 비편향화 보조정리를 적용하여 사후 기대값의 비편향 추정량을 구성함.
• 각 경로가 데이터의 랜덤 부분집합에서 계산된 사후 분포인 부분 사후 경로에 대해 랜덤 종료 시간 $ T $ 를 사용함.
• 비편향성과 최종 추정량의 유한한 분산을 확보하기 위해 $ T $ 에 기하분포를 사용함.
• 비편향화 보조정리를 활용해 다수의 독립적인 부분 사후 추정량을 조합하여 전체 사후 기대값의 단일 비편향 추정량을 형성함.
• 종료 분포 조정을 통해 분산을 제어하고, 데이터 포인트 수 $ N $ 에 대해 선형 이하의 계산 복잡도를 확보함.
• 기존의 MCMC 또는 분석적 추론 방법과 원활하게 통합되며, 기반 추론 엔진에 대한 수정이 필요 없음

실험 결과

연구 질문

• RQ1 전체 사후 분포에서 시뮬레이션하지 않으면서도 비편향성과 유한한 분산을 유지하면서 사후 기대값을 추정할 수 있는가?
• RQ2 빅데이터 환경에서 사후 기대값 추정에 대해 데이터 포인트 수 $ N $ 에 대해 선형 이하의 계산 복잡도를 달성할 수 있는가?
• RQ3 실제 대규모 데이터셋에서 제안된 방법이 전체 MCMC와 스위치 변분 추론(SVI)에 비해 정확도와 속도에서 어떻게 성능을 내는가?
• RQ4 제안된 비편향화 프레임워크에서 계산 비용과 분산 사이의 상호 상관 관계는 어떠한가?
• RQ5 모델 또는 추론 기법에 따라 특화된 수정 없이도 다양한 모델과 추론 기법에 일반적으로 적용 가능한가?

주요 결과

• 제안된 방법은 빅데이터 환경에서도 비편향성과 제어 가능한 유한한 분산을 확보한 사후 기대값 추정을 달성함.
• 데이터 포인트 수 $ N $ 에 대해 평균 계산 복잡도가 선형 이하로 유지되어 대규모 데이터셋에서 전체 MCMC보다 빠른 추정이 가능함.
• 데이터 포인트 수 $ N = 32,561 $ 인 a9a 데이터셋에서 첫 번째 회귀 계수 $ eta_1 $ 의 사후 평균을 전체 MCMC가 단일 샘플을 생성하는 데 며칠이 걸리는 동안보다 더 빠르고 정확하게 추정함.
• 도메인 특화 구조를 활용하지 않더라도 최신 기술인 스위치 변분 추론(SVI)을 초월하는 성능을 보임.
• 부분 사후 경로가 조기에 안정화되더라도 비편향화가 안정적으로 수렴하며, 선택된 종료 분포 하에서 전체 사후 샘플링은 낮은 확률로만 발생함.
• 프레임워크는 매우 쉬운 병렬 처리가 가능하고 자유 매개변수의 최적화가 최소한이므로 실세계 적용에 매우 실용적임