[논문 리뷰] On the Relationship between Sum-Product Networks and Bayesian Networks

Han Zhao, Mazen Melibari외 1명|arXiv (Cornell University)|2015. 01. 06.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 47

한 줄 요약

이 논문은 조건부 확률 분포를 표현하기 위해 대수적 결정 다이어그램(ADDs)을 사용하여, 합-곱 신경망(SPNs)과 베이지안 네트워크(BNs) 사이의 형식적 선형 시간 동치성을 확립한다. 모든 SPN은 크기의 폭증 없이 BN으로 변환 가능하며, 해당 BN에서 변수 제거(VE)를 수행하면 원래의 SPN이 복원되며, 이는 SPNs가 캐시된 추론 이력으로서의 성격을 드러낸다.

ABSTRACT

In this paper, we establish some theoretical connections between Sum-Product Networks (SPNs) and Bayesian Networks (BNs). We prove that every SPN can be converted into a BN in linear time and space in terms of the network size. The key insight is to use Algebraic Decision Diagrams (ADDs) to compactly represent the local conditional probability distributions at each node in the resulting BN by exploiting context-specific independence (CSI). The generated BN has a simple directed bipartite graphical structure. We show that by applying the Variable Elimination algorithm (VE) to the generated BN with ADD representations, we can recover the original SPN where the SPN can be viewed as a history record or caching of the VE inference process. To help state the proof clearly, we introduce the notion of {\em normal} SPN and present a theoretical analysis of the consistency and decomposability properties. We conclude the paper with some discussion of the implications of the proof and establish a connection between the depth of an SPN and a lower bound of the tree-width of its corresponding BN.

연구 동기 및 목표

• 합-곱 신경망(SPNs)과 베이지안 네트워크(BNs) 간의 이론적 관계, 특히 표현력과 추론 복잡도 측면에서 명확히 하기.
• SPNs를 BNs로 변환할 경우, 특히 문맥별 독립성(CSI)을 고려할 때 크기의 지수적 폭증이 발생하는지 여부에 대한 열린 문제를 해결하기.
• 대수적 결정 다이어그램(ADDs)을 사용하여 국소 CPD를 압축적으로 표현함으로써, SPNs를 BNs로 변환하는 구축형 선형 시간 알고리즘을 제공하기.
• 유도된 BN에서 변수 제거(VE) 알고리즘을 적용하면 원래의 SPN을 복원할 수 있음을 보여주어, SPNs가 VE 계산의 이력 또는 캐시로서의 성격을 확립하기.
• 이론적 분석과 변환 과정을 단순화하기 위한 다수의 SPNs 개념을 도입하기.

제안 방법

• 증명의 구조를 단순화하기 위해, SPN의 일관성과 분해 가능성을 유지하면서 변환 과정 중에도 유지되는 정규 SPN의 개념을 도입한다.
• 유도된 BN 내 국소 조건부 확률 분포(CPDs)를 표현하기 위해 대수적 결정 다이어그램(ADDs)을 사용하여, 문맥별 독립성(CSI)을 압축적으로 표현한다.
• 합 노드와 곱 노드를 은닉 변수로, 종단 노드를 관측 변수로 하는 방향성 이분 BN을 구성한다.
• ADD로 표현된 CPDs를 갖는 유도된 BN에 대해 변수 제거(VE) 알고리즘을 적용하여, VE 과정이 원래의 SPN 구조를 정확히 재구성함을 보여준다.
• ADDs를 사용하여 지수적 폭증을 피함으로써, SPN에서 BN으로의 변환이 SPN 크기에 대해 선형 시간 및 공간 복잡도임을 증명한다.
• SPN의 깊이와 유도된 BN의 트리 폭 사이의 구조적 관계를 분석하여, 높이가 K인 SPN에 대해 트리 폭의 하한값 ⌊K/2⌋을 유도한다.

실험 결과

연구 질문

• RQ1 모든 SPN은 크기의 지수적 폭증 없이 베이지안 네트워크(BN)로 변환될 수 있는가?
• RQ2 CPD 표현에 ADDs를 사용할 경우, SPN에서 유도된 BN의 크기와 구조에 어떤 영향을 미치는가?
• RQ3 SPN 내 추론 과정과 BN에 적용된 변수 제거(VE) 알고리즘 사이에 직접적인 대응 관계가 존재하는가?
• RQ4 SPN의 깊이와 그에 대응하는 BN의 트리 폭 사이의 관계는 무엇인가?
• RQ5 SPNs는 BN에 대한 VE 추론 과정의 압축된 캐시 표현으로 볼 수 있는가?

주요 결과

• ADDs를 사용하여 국소 CPD를 표현함으로써, 모든 SPN은 선형 시간 및 공간 복잡도로 BN으로 변환 가능하다.
• 유도된 BN은 SPN의 깊이나 복잡도에 관계없이 간단한 방향성 이분 구조를 갖는다.
• ADD로 표현된 CPDs를 갖는 유도된 BN에 대해 변수 제거(VE)를 적용하면 원래의 SPN을 선형 시간 및 공간 복잡도로 복원할 수 있다.
• SPN의 깊이는 그에 대응하는 BN의 트리 폭에 하한을 제공한다: 높이가 K인 SPN은 최소 ⌊K/2⌋의 트리 폭을 갖는 BN을 유도한다.
• SPNs는 BN에 대한 VE 추론 과정의 이력 또는 캐시 메커니즘으로 해석될 수 있으며, ADDs를 통해 효율적이고 압축된 CPD 표현이 가능하다.
• CPD 표현에 ADDs를 사용함으로써 BN은 문맥별 독립성(CSI)을 활용할 수 있으며, 이는 지수적 폭증을 방지하고 고트리 폭 분포에 대해서도 처리 가능한 추론을 가능하게 한다.