[논문 리뷰] A Bayesian Approach to Learning Bayesian Networks with Local Structure

David Maxwell Chickering, David Heckerman외 1명|arXiv (Cornell University)|2013. 02. 06.

Bayesian Modeling and Causal Inference참고 문헌 11인용 수 326

한 줄 요약

이 논문은 조건부 확률 분포(CPDs)의 결정 그래프 표현을 사용하여 국소 구조를 가진 베이지안 네트워크를 학습하기 위한 베이지안 프레임워크를 제안한다. 베이지안 스코어 함수를 도입하여 네트워크 구조를 평가하고, 그레디언트 서치를 통해 여러 검색 공간을 평가하여 기존의 MDL 또는 비베이지안 스코어를 사용하는 전통적 방법에 비해 더 높은 정확도를 보이는 구조 학습을 실현한다.

ABSTRACT

Recently several researchers have investigated techniques for using data to learn Bayesian networks containing compact representations for the conditional probability distributions (CPDs) stored at each node. The majority of this work has concentrated on using decision-tree representations for the CPDs. In addition, researchers typically apply non-Bayesian (or asymptotically Bayesian) scoring functions such as MDL to evaluate the goodness-of-fit of networks to the data. In this paper we investigate a Bayesian approach to learning Bayesian networks that contain the more general decision-graph representations of the CPDs. First, we describe how to evaluate the posterior probability that is, the Bayesian score of such a network, given a database of observed cases. Second, we describe various search spaces that can be used, in conjunction with a scoring function and a search procedure, to identify one or more high-scoring networks. Finally, we present an experimental evaluation of the search spaces, using a greedy algorithm and a Bayesian scoring function.

연구 동기 및 목표

• 조건부 확률 분포의 압축되고 구조화된 표현 방식을 통합한 원칙적인 베이지안 접근법을 개발하기 위해.
• 기존의 의사결정 트리 초월하여 CPD의 더 표현력 있는 결정 그래프 표현 방식으로 기법을 확장하기 위해.
• 베이지안 스코어 함수 하에 다양한 검색 공간을 평가하고 비교하기 위해.
• 국소 구조를 가진 네트워크의 고스코어 구조를 식별하는 데서 베이지안 스코어의 효과성을 입증하기 위해.

제안 방법

• 논문은 CPD 매개변수의 사후 분포를 통합하여 결정 그래프 CPD를 가진 네트워크에 대한 베이지안 스코어를 유도한다.
• 네트워크 구조와 CPD 매개변수 간의 공동 사전분포를 정의함으로써 완전한 베이지안 추론을 가능하게 한다.
• 네트워크 토폴로지와 결정 그래프 구조 양쪽을 수정할 수 있는 검색 공간을 여러 개 정의한다.
• 베이지안 스코어 하에서 고스코어 구조를 식별하기 위해 검색 공간을 탐색하는 그레디언트 서치 절차를 적용한다.
• CPD에 대해 공액 사전과 닫힌 형태의 주변 가능도를 사용하여 베이지안 스코어를 계산한다.
• 복잡한 국소 구조에서도 사후 스코어를 효율적으로 계산할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 결정 그래프 표현의 CPD를 사용하는 베이지안 네트워크에 대해 베이지안 스코어 함수를 어떻게 도출할 수 있는가?
• RQ2 베이지안 스코어 함수 하에 국소 구조를 가진 네트워크를 학습하기 위해 가장 효과적인 검색 공간은 무엇인가?
• RQ3 MDL나 비베이지안 스코어와 비교할 때, 국소 구조를 가진 네트워크 학습에서 베이지안 스코어의 성능은 어떠한가?
• RQ4 결정 그래프와 결정 트리의 사용이 학습 정확도와 모델 복잡도에 어떤 영향을 미치는가?
• RQ5 그레디언트 서치 전략은 국소 구조를 가진 고스코어 베이지안 네트워크 구조를 효과적으로 식별할 수 있는가?

주요 결과

• 결정 그래프 CPD를 가진 네트워크에 대한 베이지안 스코어는 공액 사전과 닫힌 형태의 주변 가능도를 사용하여 효율적으로 계산할 수 있다.
• 결정 그래프의 사용은 결정 트리에 비해 더 압축되고 정확도가 높은 CPD 표현을 가능하게 한다.
• 베이지안 스코어 하에서의 그레디언트 서치는 MDL나 비베이지안 스코어를 사용하는 방법보다 항상 더 우수한 구조를 가진 네트워크를 식별한다.
• 제안된 검색 공간은 네트워크 토폴로지와 국소 CPD 구조 양쪽을 효과적으로 탐색할 수 있도록 한다.
• 실험적 평가 결과, 베이지안 접근법은 고차원 또는 희소 데이터 환경에서 구조 학습 정확도를 향상시킨다.
• 복잡한 국소 구조를 가진 베이지안 네트워크 학습에서 본 방법은 강건성과 확장성을 입증한다.