[논문 리뷰] Prior-Proposal Recursive Bayesian Inference

Mevin B. Hooten, Devin S. Johnson외 1명|arXiv (Cornell University)|2018. 07. 28.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 1

한 줄 요약

이 논문은 순차적 또는 분산 데이터에서 효율적이고 확장 가능한 베이지안 추론을 가능하게 하기 위해 Prior-Recursive 및 Proposal-Recursive 베이지안 접근법을 통합하는 새로운 Prior-Proposal Recursive 베이지안 추론 방법을 제안한다. 순차적 업데이트와 제안 기반 MCMC 정밀화를 결합함으로써, 계산 효율성이 향상되고 빅데이터, 스트리밍 데이터, 적응형 설계 응용 분야에 적합하다.

ABSTRACT

Bayesian models provide recursive inference naturally because they can formally reconcile new data and existing scientific information. However, popular use of Bayesian methods often avoids priors that are based on exact posterior distributions resulting from former studies. Two existing Recursive Bayesian methods are: Prior- and Proposal-Recursive Bayes. Prior-Recursive Bayes uses Bayesian updating, fitting models to partitions of data sequentially, and provides a way to accommodate new data as they become available using the posterior from the previous stage as the prior in the new stage based on the latest data. Proposal-Recursive Bayes is intended for use with hierarchical Bayesian models and uses a set of transient priors in first stage independent analyses of the data partitions. The second stage of Proposal-Recursive Bayes uses the posteriors from the first stage as proposals in an MCMC algorithm to fit the full model. We combine Prior- and Proposal-Recursive concepts to fit any Bayesian model, and often with computational improvements. We demonstrate our method with two case studies. Our approach has implications for big data, streaming data, and optimal adaptive design situations.

연구 동기 및 목표

• 이전 연구에서 구한 정확한 사후분포가 사전분포로 잘 활용되지 않는 베이지안 추론의 한계를 해결하기 위해.
• 대규모 또는 스트리밍 데이터 세트로 확장할 때 기존의 순차적 베이지안 방법의 계산 비효율성을 극복하기 위해.
• Prior-Recursive 및 Proposal-Recursive 베이지안 방법을 통합하여 보다 광범위한 적용 가능성을 갖는 통합 프레임워크를 개발하기 위해.
• 순차적 베이지안 업데이트를 통해 계층적 모델과 적응형 실험 설계에서 효율적인 추론을 가능하게 하기 위해.
• 순차적 및 제안 기반 추론을 통해 빅데이터 및 실시간 데이터 분석 시나리오에서 계산 성능을 향상시키기 위해.

제안 방법

• Prior-Recursive 베이즈와 Proposal-Recursive 베이즈를 결합함: 첫 번째 단계에서의 사후분포를 MCMC에서의 제안 분포로 사용.
• 이전 데이터 파artitions의 사후분포를 다음 데이터 파artitions의 사전분포로 사용함으로써 순차적 베이지안 업데이트를 적용.
• 이중 단계 프로세스를 사용함: 첫째, 데이터 파artitions에 대해 독립적으로 모델을 피팅하여 일시적 사후분포를 확보; 둘째, 이러한 사후분포를 전체 모델의 MCMC에서 제안 분포로 사용.
• 이전 단계에서의 전체 사후분포를 후속 단계에서 정보가 풍부한 사전분포로 사용함으로써 수렴성과 정확도를 향상.
• 제안 기반 MCMC를 통해 계층적 베이지안 모델을 지원함으로써 모듈러 분석과 공동 추론을 가능하게 함.
• 대규모 또는 지속적으로 도착하는 데이터 스트림을 처리할 때도 계산 효율성을 유지하기 위해 순차적 구조를 활용.

실험 결과

연구 질문

• RQ1 Prior-Recursive 및 Proposal-Recursive 방법의 장점을 통합한 통합된 베이지안 추론 프레임워크를 개발할 수 있는가?
• RQ2 제안된 방법은 대규모 또는 스트리밍 데이터 환경에서 기존의 순차적 베이지안 접근법에 비해 계산 효율성을 어떻게 향상시키는가?
• RQ3 이전 분석에서 구한 사후분포를 정보가 풍부한 사전분포로 사용할 경우, 정확도와 수렴 속도를 어느 정도 유지할 수 있는가?
• RQ4 계층적 모델에서 Prior-Proposal Recursive 접근법이 기존의 MCMC나 순차적 업데이트에 비해 어떤 시나리오에서 더 우수한 성능을 보이는가?
• RQ5 이 방법은 빅데이터 및 최적의 적응형 설계 응용 분야에서 얼마나 확장 가능한가?

주요 결과

• 제안된 Prior-Proposal Recursive 베이지안 방법은 순차적 업데이트와 제안 기반 MCMC를 결합함으로써 계산 오버헤드를 줄여 효율적인 추론을 가능하게 한다.
• 이 방법은 데이터 파artitions 간에 사후분포를 사전분포로 재사용함으로써 빅데이터 및 스트리밍 데이터 환경에서 확장 가능한 베이지안 모델링을 지원한다.
• 첫 번째 단계의 사후분포를 MCMC에서 제안 분포로 사용함으로써 전체 모델 피팅 시 혼합성과 수렴성을 향상시킨다.
• 계층적 모델에서 수렴을 위한 MCMC 반복 수를 줄이면서도 높은 정확도를 유지한다.
• 데이터 수집과 모델 업데이트가 동적으로 조율되어야 하는 최적의 적응형 설계 시나리오에 적용 가능하다.
• 사례 연구를 통해 복잡한 대규모 추론 작업을 더 높은 계산 성능로 효과적으로 처리할 수 있음을 입증했다.