[논문 리뷰] Exact Inference in Networks with Discrete Children of Continuous Parents

Uri Lerner, Eran Segal외 1명|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 66

한 줄 요약

이 논문은 연속 부모를 가진 이산 자식을 가진 하이브리드 베이지안 네트워크에 대한 최초의 정확한 추론 알고리즘을 제안한다. Lauritzen의 클리크 트리 알고리즘을 조건부 선형 가우시안 모델에 확장하여, 연속 부모에 의존하는 이산 노드를 처리한다. 이 방법은 수치 적분을 사용하여 이산 변수에 대한 정확한 분포와 연속 변수에 대한 정확한 1차 및 2차 모멘트를 계산하며, 특히 소프트맥스 CPD를 사용할 경우 이전의 근사 방법보다 더 높은 정확도를 달성한다.

ABSTRACT

Many real life domains contain a mixture of discrete and continuous variables and can be modeled as hybrid Bayesian Networks. Animportant subclass of hybrid BNs are conditional linear Gaussian (CLG) networks, where the conditional distribution of the continuous variables given an assignment to the discrete variables is a multivariate Gaussian. Lauritzen's extension to the clique tree algorithm can be used for exact inference in CLG networks. However, many domains also include discrete variables that depend on continuous ones, and CLG networks do not allow such dependencies to berepresented. No exact inference algorithm has been proposed for these enhanced CLG networks. In this paper, we generalize Lauritzen's algorithm, providing the first "exact" inference algorithm for augmented CLG networks - networks where continuous nodes are conditional linear Gaussians but that also allow discrete children ofcontinuous parents. Our algorithm is exact in the sense that it computes the exact distributions over the discrete nodes, and the exact first and second moments of the continuous ones, up to the accuracy obtained by numerical integration used within thealgorithm. When the discrete children are modeled with softmax CPDs (as is the case in many real world domains) the approximation of the continuous distributions using the first two moments is particularly accurate. Our algorithm is simple to implement and often comparable in its complexity to Lauritzen's algorithm. We show empirically that it achieves substantially higher accuracy than previous approximate algorithms.

연구 동기 및 목표

• 이산 변수가 연속 부모에 의존하는 하이브리드 베이지안 네트워크에 대한 정확한 추론 알고리즘이 부족한 문제를 해결하기 위해.
• Lauritzen의 클리크 트리 알고리즘을 조건부 선형 가우시안 모델에 확장하여 연속 부모의 이산 자식을 지원하기 위해.
• 이러한 네트워크에서 이산 노드에 대한 분포와 연속 노드에 대한 모멘트를 정확하게 계산할 수 있도록 하기 위해.
• 실제 응용 분야에서 흔히 사용되는 소프트맥스 CPD를 포함한 기존 근사 추론 방법보다 정확도를 향상시키기 위해.

제안 방법

• 이중 부모가 연속인 하이브리드 조건부 선형 가우시안 네트워크를 다룰 수 있도록 Lauritzen의 클리크 트리 알고리즘을 확장한다.
• 연속 부모를 기준으로 이산 노드에 대한 정확한 조건부 분포를 계산하기 위해 수치 적분을 사용한다.
• 통합 기반의 마진칼라이제이션을 통해 연속 변수의 정확한 1차 및 2차 모멘트를 유지한다.
• 네트워크 내 조건부 인적성 구조를 유지하는 요소 분해 전략을 활용한다.
• 실제 응용 분야에서 흔한 소프트맥스 CPD를 지원한다.
• 계산의 타당성을 유지하기 위해 클리크 트리 프레임워크 내부에서 수치 적분 기반의 구 quadrature를 통합한다.

실험 결과

연구 질문

• RQ1 이산 노드가 연속 부모를 가지는 하이브리드 베이지안 네트워크에서 정확한 추론을 수행할 수 있는가?
• RQ2 정확성을 유지하면서 클리크 트리 알고리즘은 어떻게 수정되어야 하며, 연속 부모의 이산 자식을 지원할 수 있는가?
• RQ3 수치 적분의 정확도가 이러한 네트워크에서 추론 품질에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 기존의 근사 추론 기법과 비교하여 정확도에서 어떻게 다른가?
• RQ5 소프트맥스 CPD의 사용은 연속 분포의 근사 품질을 어느 정도 향상시키는가?

주요 결과

• 제안된 알고리즘은 연속 부모를 가진 이산 자식을 가진 하이브리드 베이지안 네트워크에서 이전의 근사 추론 방법보다 유의미하게 높은 정확도를 달성한다.
• 클리크 트리 프레임워크 내에서 수치 적분을 사용함으로써 이산 노드 분포와 연속 노드 모멘트의 정확한 계산이 가능하다.
• 계산 복잡도가 Lauritzen의 원래 알고리즘과 유사하여 실세계 적용에 실용적이다.
• 소프트맥스 CPD를 사용할 경우, 1차 및 2차 모멘트를 기반으로 한 연속 분포 근사는 특히 정확도가 높다.
• 실험 결과는 알고리즘이 기존의 근사 접근법보다 분포 정확도 측면에서 뛰어나다는 것을 입증한다.