[논문 리뷰] Expectation propagation as a way of life: A framework for Bayesian inference on partitioned data

Aki Vehtari, Andrew Gelman외 8명|arXiv (Cornell University)|2014. 12. 16.

Gaussian Processes and Bayesian Inference참고 문헌 63인용 수 63

한 줄 요약

이 논문은 분할된 데이터에서의 사후 근사값을 결합하기 위해 기대치 전파(EP)를 사용하는 분산 베이지안 추론 프레임워크를 제안한다. 이는 정규화를 유지하면서 병렬 계산을 가능하게 하며, 30개의 사이트를 사용할 경우 최대 96%의 계산 시간 단축을 달성한다. 정확도는 기존의 공통 Monte Carlo 방법과 비교해 유사하거나 뛰어나다.

ABSTRACT

A common divide-and-conquer approach for Bayesian computation with big data is to partition the data, perform local inference for each piece separately, and combine the results to obtain a global posterior approximation. While being conceptually and computationally appealing, this method involves the problematic need to also split the prior for the local inferences; these weakened priors may not provide enough regularization for each separate computation, thus eliminating one of the key advantages of Bayesian methods. To resolve this dilemma while still retaining the generalizability of the underlying local inference method, we apply the idea of expectation propagation (EP) as a framework for distributed Bayesian inference. The central idea is to iteratively update approximations to the local likelihoods given the state of the other approximations and the prior. The present paper has two roles: we review the steps that are needed to keep EP algorithms numerically stable, and we suggest a general approach, inspired by EP, for approaching data partitioning problems in a way that achieves the computational benefits of parallelism while allowing each local update to make use of relevant information from the other sites. In addition, we demonstrate how the method can be applied in a hierarchical context to make use of partitioning of both data and parameters. The paper describes a general algorithmic framework, rather than a specific algorithm, and presents an example implementation for it.

연구 동기 및 목표

• 대규모 또는 분산된 데이터셋에서의 베이지안 추론을 위해 데이터를 분할하고 국소적 추론을 통합함으로써 도전 과제를 해결하기.
• 분할-통합 베이지안 추론에서 발생하는 사전 분포 정규화 딜레마를 해결하기. 즉, 사전 분포를 분할할 경우 그 효과가 약화되는 문제를 해결하기.
• 기대치 전파의 메시지 전달 메커니즘을 영감으로 삼아, 일반적이고 수치적으로 안정적인 분산 베이지안 추론 프레임워크를 개발하기.
• 다양한 원천에서 분산된 데이터 또는 모델 구성 요소가 존재하는 환경에서 계층적 모델 및 프라이버시 보호 설정에서 효율적인 추론을 가능하게 하기.
• EP 기반 분산 추론이 기존의 공통 Monte Carlo 방법보다 계산 효율성과 근사 정확도 측면에서 뛰어나다는 것을 입증하기.

제안 방법

• 기대치 전파의 메시지 전달 프레임워크를 활용하여, 다른 파artitions의 캐비티 분포를 이용해 국소 사후 근사값을 반복적으로 업데이트한다.
• 글로벌 사후 추정치를 기반으로 국소 우도 근사값을 향상시키기 위해 기울인 분포(tilted distributions)를 적용함으로써, 다양한 사이트 간 정보 공유를 가능하게 한다.
• 글로벌 사후 서버를 운영하여 글로벌 근사값을 유지하고 업데이트하며, 이를 국소 사이트에 배포하여 반복적 개선을 유도한다.
• 모멘트 매칭 및 SNEP 등 다양한 국소 추론 방법을 지원하여, 융통성 있고 효율적인 국소 계산을 가능하게 한다.
• 특히 고차원 또는 복잡한 우도를 가진 경우에도 안정성을 확보하기 위해 수치적 안정화 기법을 적용한다.
• 데이터와 파rameter를 모두 분할함으로써 계층적 모델링을 지원하며, 다양한 원천 간 메타 분석 및 분산 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 분할을 통해 대규모 데이터에서의 베이지안 추론을 어떻게 효율적으로 확장할 수 있으며, 사전 분포의 정규화 효과를 유지할 수 있는가?
• RQ2 기대치 전파의 메시지 전달 메커니즘이 여러 데이터 파artition 간 분산 추론을 가능하게 하기 위해 일반화될 수 있는가? 이때 정확도는 유지되는가?
• RQ3 EP를 분산 베이지안 추론에 적용할 때 발생하는 주요 수치적 및 알고리즘적 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ4 EP 기반 분산 추론의 성능은 계산 속도와 근사 오차 측면에서 공통 Monte Carlo 및 기타 분할-통합 방법과 비교해 어떻게 되는가?
• RQ5 계층적 모델이나 프라이버시 보호 계산과 같은 설정에서 이 프레임워크가 가장 효과적으로 적용될 수 있는 경우는 무엇인가?

주요 결과

• EP를 30개의 분산된 사이트에서 사용할 경우, 단일 사이트의 순차적 구현 대비 계산 시간이 96% 감소하였다.
• Scott 등(2016)의 공통 Monte Carlo 알고리즘보다 계산 시간과 근사 오차 측면에서 모두 우수한 성능을 보였다.
• 30개 사이트에서의 EP는 82°에서 다른 혼합 성분으로 수렴한 반면, 10개 사이트에서는 194°에서 다른 성분으로 수렴하여, 분할 방식과 수렴 행동에 민감함을 보였다.
• 캐비티 분포와 기울인 분포의 사용이 국소 추론 간 효과적인 정보 공유를 가능하게 하여, 사후 근사 정확도를 향상시켰다.
• 모멘트 매칭 및 SNEP 방법이 국소 추론에 효과적이며, 안정성과 수렴성을 향상시키기 위해 하이브리드 사용이 가능함을 입증하였다.
• 이 프레임워크는 계층적 모델을 지원하며, 데이터 또는 모델이 여러 원천에 분산된 프라이버시 보호 및 메타 분석 설정에 적용 가능하다.