[논문 리뷰] Learning Bayesian Networks: The Combination of Knowledge and Statistical Data

David Heckerman, Dan Geiger외 1명|arXiv (Cornell University)|2013. 02. 27.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 통계적 데이터와 사용자가 제공한 사전 지식을 점수 기준과 탐색 절차를 통해 통합하여 베이지안 네트워크를 학습하는 프레임워크를 제시한다. 주요 기여는 이벤트 등가성과 파라미터 모듈러리티를 규명한 것으로, 이는 사용자가 단일 베이지안 네트워크를 통해 사전 지식을 효율적으로 표현할 수 있도록 하고, 다항시간 해법이 존재하는 다항수형(폴리트리)에 대해서는 효율적인 알고리즘을 개발함으로써 정확하고 확장 가능한 구조 학습을 가능하게 한다.

ABSTRACT

We describe algorithms for learning Bayesian networks from a combination of user knowledge and statistical data. The algorithms have two components: a scoring metric and a search procedure. The scoring metric takes a network structure, statistical data, and a user's prior knowledge, and returns a score proportional to the posterior probability of the network structure given the data. The search procedure generates networks for evaluation by the scoring metric. Our contributions are threefold. First, we identify two important properties of metrics, which we call event equivalence and parameter modularity. These properties have been mostly ignored, but when combined, greatly simplify the encoding of a user's prior knowledge. In particular, a user can express her knowledge-for the most part-as a single prior Bayesian network for the domain. Second, we describe local search and annealing algorithms to be used in conjunction with scoring metrics. In the special case where each node has at most one parent, we show that heuristic search can be replaced with a polynomial algorithm to identify the networks with the highest score. Third, we describe a methodology for evaluating Bayesian-network learning algorithms. We apply this approach to a comparison of metrics and search procedures.

연구 동기 및 목표

• 전문 지식과 통계적 데이터를 융합하여 베이지안 네트워크 구조를 학습하는 원칙적인 방법을 개발하기.
• 사전 지식 표현을 단순화하는 점수 기준의 바람직한 성질인 이벤트 등가성과 파라미터 모듈러리티를 규명하기.
• 효율적인 탐색 알고리즘을 설계하기, 특히 각 노드에 최대 한 개의 부모가 존재하는 경우에 대해 다항시간 해법을 포함하여.
• 다양한 학습 알고리즘의 성능을 점수 기준과 탐색 절차 성능 측면에서 평가하고 비교할 수 있는 방법론을 제공하기.

제안 방법

• 점수 기준은 데이터와 사전 지식가 주어진 네트워크 구조의 사후 확률을 계산한다.
• 이 점수 기준은 이벤트 등가성과 파라미터 모듈러리티를 갖추어, 사용자 지식의 일관되고 효율적인 표현을 보장한다.
• 가능한 네트워크 구조 공간을 탐색하기 위해 국소 탐색과 시뮬레이티드 어닐링 절차를 사용한다.
• 특수한 경우인 다항수형(각 노드에 최대 한 명의 부모가 존재하는 경우)에 대해서는 최고 점수를 갖는 구조를 다항시간 내에 찾는 알고리즘을 유도한다.
• 이 프레임워크는 사용자가 단일 사전 베이지안 네트워크로 사전 지식을 표현할 수 있도록 하여 복잡도를 크게 감소시킨다.
• 다양한 점수 기준과 탐색 전략을 비교하기 위한 체계적인 평가 방법론을 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 전문 지식을 베이지안 네트워크 구조 학습에 효과적이고 효율적으로 통합할 수 있는가?
• RQ2 지식과 데이터를 융합할 때 일관성과 확장성을 확보하기 위해 점수 기준이 가져야 할 성질은 무엇인가?
• RQ3 구조가 다항수형인 경우에 대해 효율적인 알고리즘을 개발할 수 있는가?
• RQ4 다양한 점수 기준과 탐색 절차는 정확성과 계산 효율성 측면에서 어떻게 비교될 수 있는가?
• RQ5 베이지안 네트워크 학습 알고리즘을 평가하기 위한 신뢰할 수 있는 방법론은 무엇인가?

주요 결과

• 점수 기준에서의 이벤트 등가성과 파라미터 모듈러리티 덕분에 사용자는 단일 사전 베이지안 네트워크로 사전 지식을 표현할 수 있어 지식 추출 과정이 크게 단순화된다.
• 제안된 점수 기준은 등가한 네트워크 구조에 동일한 점수를 제공함으로써 학습 과정의 일관성을 향상시킨다.
• 각 노드에 최대 한 명의 부모가 존재하는 네트워크(다항수형)의 경우 최고 점수를 갖는 구조를 다항시간 내에 찾을 수 있어 히ュ리스틱 탐색 없이 정확한 학습이 가능하다.
• 정확한 탐색이 불가능한 일반적인 네트워크 구조에 대해서는 국소 탐색과 시뮬레이티드 어닐링이 효과적인 휴리스틱을 제공한다.
• 평가 방법론은 점수 기준과 탐색 절차 간의 체계적 비교를 가능하게 하여 학습 알고리즘의 경험적 검증을 지원한다.
• 지식과 데이터의 통합은 데이터가 제한된 경우 특히 더 정확하고 강건한 네트워크 구조를 도출한다.