[논문 리뷰] Scalable Nonparametric Sampling from Multimodal Posteriors with the Posterior Bootstrap

Edwin Fong, Simon Lyddon외 1명|arXiv (Cornell University)|2019. 05. 24.

Bayesian Methods and Mixture Models인용 수 11

한 줄 요약

이 논문은 다중모드 사후분포에서 최적화된 랜덤 목적함수를 통해 사후부트스트랩을 사용하여 확장 가능하고 비모수적 베이지안 추론 방법을 제안한다. 모형 오특사용을 다루기 위해 디리클레 과정 사전을 도입함으로써, 비모수적 사후분포에서 과도하게 병렬화된 정확한 표본 추출이 가능해져, 기존 MCMC에 비해 사후분포의 여러 모드 간 혼합성이 크게 향상된다.

ABSTRACT

Increasingly complex datasets pose a number of challenges for Bayesian inference. Conventional posterior sampling based on Markov chain Monte Carlo can be too computationally intensive, is serial in nature and mixes poorly between posterior modes. Further, all models are misspecified, which brings into question the validity of the conventional Bayesian update. We present a scalable Bayesian nonparametric learning routine that enables posterior sampling through the optimization of suitably randomized objective functions. A Dirichlet process prior on the unknown data distribution accounts for model misspecification, and admits an embarrassingly parallel posterior bootstrap algorithm that generates independent and exact samples from the nonparametric posterior distribution. Our method is particularly adept at sampling from multimodal posterior distributions via a random restart mechanism. We demonstrate our method on Gaussian mixture model and sparse logistic regression examples.

연구 동기 및 목표

• 다중모드 사후분포에서 MCMC의 계산 비효율성과 열악한 혼합성 문제를 해결하기 위해.
• 기존 MCMC에 비해 본질적으로 병렬화되고 순차적 의존성을 피하는 확장 가능한 대안을 제공하기 위해.
• 복잡한 데이터셋에서 데이터 분포에 디리클레 과정 사전을 사용하여 모형 오특사용을 명시적으로 고려하기 위해.
• 다중모드에 강건한 랜덤화된 최적화 프레임워크를 통해 정확한 사후분포 표본 추출을 가능하게 하기 위해.
• 가우시안 혼합모형과 희소 로지스틱 회귀와 같은 도전적인 모형에서의 유효성 입증하기 위해.

제안 방법

• 미지의 데이터 분포에 디리클레 과정 사전을 적용하여 불확실성과 모형 오특사용을 다루기 위해.
• 사후부트스트랩에서 유도된 랜덤 목적함수를 도입하여 최적화를 통한 독립적 표본 추출을 가능하게 하기 위해.
• 사후부트스트랩 알고리즘은 데일리클레 분포에서 추출한 가중치를 사용해 데이터를 재표본화함으로써 비모수적 사후분포에서 독립적인 표본을 생성한다.
• 각 표본이 랜덤 목적함수의 최적화를 통해 독립적으로 생성될 수 있기 때문에, 이 방법은 매우 병렬화 가능하다.
• 랜덤 재시작 메커니즘이 다중모드 사후분포에서 여러 사후모드를 효과적으로 탐색하도록 도와주며, 특히 다중모드 분포에서 유용하다.
• 마르코프 체인 시뮬레이션을 최적화된 랜덤 목적함수로 대체함으로써 MCMC를 회피함으로써 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 다중모드 사후분포를 가진 고차원, 복잡한 데이터셋에 대해 효율적으로 확장 가능한 비모수적 베이지안 방법을 설계할 수 있는가?
• RQ2 모수적 가정에 의존하지 않고 모형 오특사용을 사후분포 표본 추출 과정에서 명시적으로 고려할 수 있는가?
• RQ3 정확성과 MCMC 수렴 문제를 피하면서도 사후분포 표본 추출을 매우 병렬화할 수 있는가?
• RQ4 랜덤 재시작 메커니즘이 여러 사후모드 간 혼합성을 얼마나 향상시키는가?
• RQ5 실제 모형에서 계산 효율성과 표본 정확성 측면에서 기존 MCMC와 비교해 볼 때 이 방법은 어떠한가?

주요 결과

• 최적화를 통한 비모수적 사후분포에서 정확하고 독립적인 표본 추출이 가능해져 MCMC의 순차적 의존성을 피할 수 있다.
• 사후부트스트랩 프레임워크는 본질적으로 병렬화되어 있어 기존 MCMC에 비해 계산 확장성에서 뚜렷한 향상을 이룬다.
• 디리클레 과정 사전은 모형 오특사용을 효과적으로 보상하여 복잡한 데이터 환경에서 강건성을 향상시킨다.
• 랜덤 재시작 메커니즘은 여러 사후모드를 효과적으로 탐색하여 다중모드 분포에서 혼합성을 향상시킨다.
• 가우시안 혼합모형과 희소 로지스틱 회귀에서의 실험 결과는 뛰어난 성능과 확장성을 입증한다.
• 특히 고차원 또는 복잡한 우도 표면을 가진 경우, 표준 MCMC에 비해 모드 간 혼합성이 더 우수하다.