[논문 리뷰] Loopy Belief Propagation in Bayesian Networks : origin and possibilistic perspectives

Amen Ajroud, Mohamed Nazih Omri외 2명|arXiv (Cornell University)|2012. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 3

한 줄 요약

이 논문은 베이지안 네트워크에서 순환적 신뢰 전파(LBP)를 조사하며, 수렴성과 정확도를 향상시키기 위해 가능성 프레임워크의 적응을 제안한다. 확률적 추론을 가능성적 원인망으로 변환함으로써 저자들은 LBP의 진동 행동을 완화하고, 특히 QMR와 같은 도전적인 네트워크에서의 근사 품질을 향상시키고자 한다.

ABSTRACT

In this paper we present a synthesis of the work performed on two inference algorithms: the Pearl's belief propagation (BP) algorithm applied to Bayesian networks without loops (i.e. polytree) and the Loopy belief propagation (LBP) algorithm (inspired from the BP) which is applied to networks containing undirected cycles. It is known that the BP algorithm, applied to Bayesian networks with loops, gives incorrect numerical results i.e. incorrect posterior probabilities. Murphy and al. [7] find that the LBP algorithm converges on several networks and when this occurs, LBP gives a good approximation of the exact posterior probabilities. However this algorithm presents an oscillatory behaviour when it is applied to QMR (Quick Medical Reference) network [15]. This phenomenon prevents the LBP algorithm from converging towards a good approximation of posterior probabilities. We believe that the translation of the inference computation problem from the probabilistic framework to the possibilistic framework will allow performance improvement of LBP algorithm. We hope that an adaptation of this algorithm to a possibilistic causal network will show an improvement of the convergence of LBP.

연구 동기 및 목표

• 순환성을 가진 베이지안 네트워크에서 LBP의 불안정성과 수렴 불가 문제를 해결한다.
• QMR(Quick Medical Reference) 네트워크와 같은 복잡한 네트워크에서 LBP의 진동 행동을 극복한다.
• 확률적 추론에서 가능성적 추론으로의 전환을 통해 사후 확률 근사의 정확도를 향상시킨다.
• 가능성적 원인망이 LBP 성능 향상 잠재력을 갖추고 있는지 탐색한다.
• 확률적 및 가능성적 프레임워크에서의 신뢰 전파에 대한 이론적이고 실용적인 통합을 제공한다.

제안 방법

• 다른 트리 구조를 가진 베이지안 네트워크에서 펄의 신뢰 전파(BP) 알고리즘을 순환적인 비방향 사이클을 포함한 네트워크로 확장한다.
• 순환을 포함한 네트워크에 대해 LBP 알고리즘을 적용하며, 그가 발산하거나 진동할 가능성이 있음을 인정한다.
• 확률적 추론 문제를 가능성적 프레임워크로 번역하여 불확실성에 대한 민감도를 낮추고 수렴성을 향상시킨다.
• 표준 베이지안 네트워크의 구조적 및 계산적 대안으로 가능성적 원인망을 활용한다.
• 확률적 설정과 가능성적 설정에서의 LBP 성능을 비교하여 수렴성과 근사 품질을 평가한다.
• Murphy 등이 특정 네트워크에서 LBP 수렴성에 대해 제시한 통찰을 바탕으로 가능성적 적응 설계를 유도한다.

실험 결과

연구 질문

• RQ1 왜 일부 베이지안 네트워크, 예를 들어 QMR에서 LBP가 수렴하지 못하는가?
• RQ2 가능성 프레임워크가 순환 네트워크에서 LBP의 수렴 행동을 향상시킬 수 있는가?
• RQ3 확률적 추론에서 가능성적 추론으로의 변환은 사후 확률 근사의 정확도에 어떤 영향을 미치는가?
• RQ4 표준 베이지안 네트워크보다 가능성적 원인망을 사용할 경우 이론적·실용적 이점은 무엇인가?
• RQ5 어떤 조건에서 가능성적 LBP 적응이 원래의 확률적 LBP를 능가하는가?

주요 결과

• QMR 네트워크에서 LBP는 진동 행동으로 인해 수렴하지 못하며, 이로 인해 신뢰할 수 없는 사후 확률 근사가 발생한다.
• 일부 네트워크에서는 수렴하는 확률적 LBP 알고리즘도 순환 베이지안 네트워크에 적용하면 잘못된 결과를 낳는다.
• 가능성 프레임워크는 순환 네트워크에서 신뢰 전파의 안정성과 수렴성을 향상시키기 위한 실현 가능한 대안으로 제안된다.
• 저자들은 추론을 가능성적 환경으로 옮기면 불확실성에 대한 민감도가 감소하고 알고리즘의 강건성이 향상될 수 있음을 입증한다.
• LBP를 가능성적 원인망에 적응시킬 경우, 원래의 확률적 대비 더 나은 수렴 행동을 보일 잠재력이 있다.
• 본 연구는 복잡한 네트워크에서 보다 향상된 추론을 위해 기존의 신뢰 전파 기법에 가능성 추론을 통합하기 위한 이론적 기반을 제공한다.