[논문 리뷰] Expectation Propagation for approximate Bayesian inference

Thomas P. Minka|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 1,457

한 줄 요약

이 논문은 기대값 전파(Expectation Propagation, EP)를 소개한다. EP는 루프가 있는 신뢰 전파와 가정 밀도 필터링을 통합하고 확장하는 결정론적 근사 추론 방법으로, 베이지안 네트워크에서 사용된다. 충분 통계량(예: 평균과 분산)을 반복적으로 개선함으로써, 계산 비용이 유사한 수준에서 라플라스 방법, 변분 베이즈, 몬테카를로 방법보다 뛰어난 정확도를 달성한다. 특히 하이브리드 모델과 상관관계가 있는 모델에서 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a new deterministic approximation technique in Bayesian networks. This method, "Expectation Propagation", unifies two previous techniques: assumed-density filtering, an extension of the Kalman filter, and loopy belief propagation, an extension of belief propagation in Bayesian networks. All three algorithms try to recover an approximate distribution which is close in KL divergence to the true distribution. Loopy belief propagation, because it propagates exact belief states, is useful for a limited class of belief networks, such as those which are purely discrete. Expectation Propagation approximates the belief states by only retaining certain expectations, such as mean and variance, and iterates until these expectations are consistent throughout the network. This makes it applicable to hybrid networks with discrete and continuous nodes. Expectation Propagation also extends belief propagation in the opposite direction - it can propagate richer belief states that incorporate correlations between nodes. Experiments with Gaussian mixture models show Expectation Propagation to be convincingly better than methods with similar computational cost: Laplace's method, variational Bayes, and Monte Carlo. Expectation Propagation also provides an efficient algorithm for training Bayes point machine classifiers.

연구 동기 및 목표

• 그래픽 모델에서 베이지안 추론을 위한 통합된 결정론적 근사 기법을 개발하는 것.
• 신뢰 전파를 연속형 및 하이브리드 네트워크에 확장하여 상관관계가 있는 변수를 다룰 수 있도록 하는 것.
• 라플라스 방법과 변분 베이즈와 같은 저비용 기존 방법보다 정확도를 향상시키는 것.
• 베이즈 포인트 머신 분류기 학습을 위한 효율적인 알고리즘을 제공하는 것.
• 정확한 추론이 불가능한 모델에서 근사 추론을 가능하게 하는 것.

제안 방법

• EP는 유한한 인수 분해 근사값을 반복적으로 개선하여 진짜 사후 분포를 근사한다.
• 충분 통계량(예: 평균과 분산)을 일치시켜 근사 인수의 통계량을 진짜 사후 분포의 통계량과 일치시킨다.
• 알고리즘은 인수 그래프에서 메시지 전파를 수행하며, 국소적 증거와 전역 일관성에 기반해 근사 인수를 업데이트한다.
• EP는 이산형 및 연속형 노드를 모두 처리할 수 있어 하이브리드 베이지안 네트워크에 적합하다.
• 표준 신뢰 전파와 달리, 변수 간 상관관계를 반영하는 더 rich한 신뢰 상태를 전파한다.
• 반복적인 개선을 통해 근사 사후 분포와 진짜 사후 분포 간의 KL 발산을 최소화한다.

실험 결과

연구 질문

• RQ1 결정론적 근사 방법이 루프가 있는 신뢰 전파와 변분 추론과 같은 기존 기법들을 통합하고 이를 초월할 수 있는가?
• RQ2 근사 추론은 이산형 및 연속형 변수를 모두 포함하는 하이브리드 베이지안 네트워크로 어떻게 확장될 수 있는가?
• RQ3 EP는 계산 비용이 비슷한 수준에서 라플라스 방법과 변분 베이즈보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 표준 신뢰 전파와 비교해 EP는 상관관계가 있는 변수를 모델링할 때 어떻게 성능을 발휘하는가?
• RQ5 EP는 베이즈 포인트 머신 학습과 같은 실제 학습 과제에 효율적으로 적용될 수 있는가?

주요 결과

• EP는 가우시안 혼합 모델의 근사 정확도 측면에서 라플라스 방법, 변분 베이즈, 몬테카를로 방법보다 뚜렷이 뛰어나다.
• 계산 복잡도가 비슷한 수준에서 더 나은 예측 성능를 달성하여 효율성을 입증한다.
• EP는 하이브리드 베이지안 네트워크를 성공적으로 처리하여, 신뢰 전파의 적용 범위를 순수 이산 모델을 넘어서 확장한다.
• 고차원 모멘트와 상관관계를 유지함으로써, 평균장 방법보다 더 정확한 사후 근사 분포를 제공한다.
• EP는 베이즈 포인트 머신 분류기의 효율적 학습을 가능하게 하여 기계 학습 응용 분야에서 실용적 유용성을 보여준다.
• 실험 결과는 네트워크 전반에서 일관된 충분 통계량으로 수렴함을 확인하여, 반복적 개선 과정의 타당성을 검증한다.