[논문 리뷰] Identifiability and Consistency of Bayesian Network Structure Learning from Incomplete Data

Tjebbe Bodewes, Marco Scutari|arXiv (Cornell University)|2020. 04. 01.

Bayesian Modeling and Causal Inference인용 수 2

한 줄 요약

이 논문은 불완전한 데이터로부터 베이지안 네트워크 구조 학습을 위한 노드 평균 우도(NAL) 방법의 일致성과 식별 가능성에 대한 일반적인 충분조건을 수립한다. 이는 NAL의 이론적 기반을 조건부 가우시안 베이지안 네트워크로 확장하여, 이 보다 넓은 클래스에 대해 일치성과 모델 식별 가능성을 증명함으로써 원래 Balov(2013)에서 보여진 이산 BNs를 넘어서 적용 가능성을 넓힌다.

ABSTRACT

Bayesian network (BN) structure learning from complete data has been extensively studied in the literature. However, fewer theoretical results are available for incomplete data, and most are based on the use of the Expectation-Maximisation (EM) algorithm. Balov (2013) proposed an alternative approach called Node-Average Likelihood (NAL) that is competitive with EM but computationally more efficient; and proved its consistency and model identifiability for discrete BNs. In this paper, we give general sufficient conditions for the consistency of NAL; and we prove consistency and identifiability for conditional Gaussian BNs, which include discrete and Gaussian BNs as special cases. Hence NAL has a wider applicability than originally stated in Balov (2013).

연구 동기 및 목표

• 불완전한 데이터로부터의 베이지안 네트워크 구조 학습에 대한 이론적 보장의 부족을 해결하기 위해.
• 노드 평균 우도(NAL) 방법의 이론적 일치성과 식별 가능성 결과를 원래의 이산 베이지안 네트워크를 넘어서 확장하기 위해.
• 불완전한 데이터로부터 학습할 때 NAL의 일치성을 보장하는 일반적인 충분조건을 수립하기 위해.
• 조건부 가우시안 베이지안 네트워크에 대해 NAL이 일치하고 식별 가능함을 증명하기 위해, 이는 이산 및 가우시안 네트워크를 특수한 경우로 포함한다.

제안 방법

• 불완전한 데이터로부터의 일치 구조 학습을 달성할 수 있는 NAL 방법에 대한 일반적인 충분조건을 유도한다.
• 완전한 데이터 우도 최대화가 필요 없이도 결측 데이터를 다룰 수 있도록 노드별 우도 평균화를 사용하는 NAL 접근법을 적용한다.
• 결측 데이터 메커니즘 하에서 NAL 점수의 渐近적 행동을 분석하여 일치성을 확립한다.
• 유도된 조건 하에서 진짜 네트워크 구조가 NAL 점수를 유일하게 최대화함을 보여줌으로써 식별 가능성을 증명한다.
• 조건부 가우시안 베이지안 네트워크에 대한 이론적 프레임워크를 그들의 지수족 구조를 활용하여 확장한다.
• 지수족의 성질과 조건부 인과성의 성질을 활용하여 일치성 증명을 혼합 이산-가우시안 네트워크로 일반화한다.

실험 결과

연구 질문

• RQ1 불완전한 데이터로부터의 베이지안 네트워크 구조 학습에 대해 NAL 방법의 일치성을 보장하는 일반적인 충분조건는 무엇인가?
• RQ2 NAL 방법은 조건부 가우시안 베이지안 네트워크에 대해 일치하고 식별 가능한가?
• RQ3 NAL의 이론적 보장은 원래 이산 베이지안 네트워크를 넘어서 혼합 변수 유형을 포함하도록 확장될 수 있는가?
• RQ4 결측 데이터 하에서 이론적 일치성 측면에서 NAL의 구조 학습 성능는 EM과 어떻게 비교되는가?
• RQ5 데이터가 불완전할 때 진짜 베이지안 네트워크 구조가 NAL을 통해 유일하게 복원될 수 있도록 보장하는 조건는 무엇인가?

주요 결과

• 논문은 불완전한 데이터로부터의 베이지안 네트워크 구조 학습에 대해 NAL 방법이 일치할 수 있는 일반적인 충분조건를 수립한다.
• 조건부 가우시안 베이지안 네트워크에 대해 NAL이 일치하고 식별 가능함을 증명한다. 이는 이산 및 가우시안 BNs를 일반화한 것이다.
• 이론적 결과는 원래 Balov(2013)에서 보여진 이산 BNs를 넘어서 더 넓은 모델 클래스로 NAL의 적용 가능성을 확장한다.
• 결측 데이터 메커니즘과 네트워크 구조에 대한 온건한 정규성 조건 하에서 NAL의 일치성이 확립된다.
• 식별 가능성 결과는 유도된 조건 하에서 진짜 네트워크 구조가 NAL 점수를 유일하게 최대화함을 보장한다.
• 결과는 NAL이 이론적으로 타당하고 계산적으로 효율적인 EM의 대안으로서 검증됨을 시사한다.