[논문 리뷰] Computing Posterior Probabilities of Structural Features in Bayesian Networks

Jin Tian, Ru He|arXiv (Cornell University)|2012. 05. 09.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 26

한 줄 요약

이 논문은 베이지안 네트워크에서 개별 간선이나 하위 네트워크와 같은 구조적 특징의 사후 확률을 계산하는 정확한 알고리즘을 제시한다. 이 알고리즘은 마르코프 동치성(Markov equivalence)을 존중하는 일반적인 구조 사전분포를 사용한다. 단일 하위 네트워크에 대해 O(3^n)의 시간 복잡도를 달성하고, 모든 잠재적 간선에 대해 총 O(n3^n)의 시간 복잡도를 가지며, 이는 이전 연구에서 제한적인 비균일한 구조 사전분포를 완화하면서도 유한한 진입차수 가정을 유지함으로써 향상된 성능을 보인다.

ABSTRACT

We study the problem of learning Bayesian network structures from data. Koivisto and Sood (2004) and Koivisto (2006) presented algorithms that can compute the exact marginal posterior probability of a subnetwork, e.g., a single edge, in O(n2n) time and the posterior probabilities for all n(n-1) potential edges in O(n2n) total time, assuming that the number of parents per node or the indegree is bounded by a constant. One main drawback of their algorithms is the requirement of a special structure prior that is non uniform and does not respect Markov equivalence. In this paper, we develop an algorithm that can compute the exact posterior probability of a subnetwork in O(3n) time and the posterior probabilities for all n(n-1) potential edges in O(n3n) total time. Our algorithm also assumes a bounded indegree but allows general structure priors. We demonstrate the applicability of the algorithm on several data sets with up to 20 variables.

연구 동기 및 목표

• 기존 알고리즘이 비균일하고 마르코프 동치성이 없는 구조 사전분포에 의존하는 한계를 해결하기 위해.
• 일반적인 구조 사전분포 하에서 개별 간선이나 하위 네트워크와 같은 구조적 특징의 사후 확률을 정확하게 계산하는 알고리즘을 개발하기 위해.
• 유연하고 현실적인 사전분포를 允許하면서도 계산 가능성을 유지하기 위해 유한한 진입차수를 가정하기 위해.
• 최대 20개의 변수를 가진 데이터셋에서 알고리즘의 실용성과 적용 가능성을 입증하기 위해.

제안 방법

• 동적 프로그래밍을 사용하여 가능한 네트워크 구조 공간 전역에서 구조적 특징의 사후 확률을 계산한다.
• 노드 순서와 부모 집합에 기반한 구조 공간의 재귀적 분해를 활용하여, 모든 유효한 부모 구성 요소를 포함함으로써 효율적인 계산을 가능하게 한다.
• 비균일한 사전분포를 포함한 일반적인 구조 사전분포를 지원하며, 마르코프 동치성을 위반하지 않는다.
• 모든 가능한 DAG를 명시적으로 열거하지 않기 위해 구조 공간의 압축된 표현을 사용한다.
• 나머지 네트워크 구조의 모든 유효한 구성으로의 합산을 통해 각 잠재적 간선의 주변 사후 확률을 계산한다.
• 유한한 진입차수 조건 하에서 단일 하위 네트워크에 대해 시간 복잡도는 O(3^n), 모든 n(n-1)개의 잠재적 간선에 대해 총 시간 복잡도는 O(n3^n)으로 제한된다.

실험 결과

연구 질문

• RQ1 일반적인 구조 사전분포를 사용하면서도 마르코프 동치성을 존중하는 조건 하에서, 베이지안 네트워크의 구조적 특징에 대한 정확한 사후 확률을 계산할 수 있는가?
• RQ2 사전분포 사양의 유연성을 유지하면서도 정확한 사후 확률 계산의 계산 복잡도를 어떻게 줄일 수 있는가?
• RQ3 비균일하고 마르코프 비동치 형태의 사전분포로 제한하지 않고도 간선별 사후 확률을 효율적으로 계산할 수 있는가?
• RQ4 일반적인 사전분포와 유한한 진입차수 조건 하에서, 모든 잠재적 간선의 사후 확률 계산의 시간 복잡도는 얼마인가?

주요 결과

• 제안된 알고리즘은 단일 하위 네트워크의 사후 확률을 O(3^n) 시간에 계산하며, 이는 이전 방법의 O(n2^n) 복잡도보다 향상된 것이다.
• 모든 n(n-1)개의 잠재적 간선에 대한 사후 확률 계산에 총 시간 복잡도가 O(n3^n)이므로, 유한한 진입차수를 가진 중간 크기의 네트워크에 대해 효율적이다.
• 이 방법은 균일한 사전분포를 포함한 일반적인 구조 사전분포를 지원하며, 마르코프 동치성을 존중한다. 이는 이전 방법이 비균일하고 마르코프 비동치 사전분포를 요구했던 것과는 다르다.
• 최대 20개의 변수를 가진 데이터셋에 대한 실증 평가를 통해 알고리즘의 실용성과 확장 가능성을 확인하였다.
• 이 알고리즘은 사전분포의 유연성과 계산의 타당성을 희생시키지 않고도 구조적 특징에 대한 정확한 추론을 가능하게 한다.