[논문 리뷰] Learning restricted Bayesian network structures

Raymond Hemmecke, Silvia Lindner외 1명|arXiv (Cornell University)|2010. 11. 30.

Bayesian Modeling and Causal Inference인용 수 3

한 줄 요약

이 논문은 베이지안 네트워크 구조를 유일하게 표현하는 0-1 벡터인 특성 임셋(Characteristic imsets)을 도입하여, 제한된 베이지안 네트워크 구조를 학습하는 데 있어 분석을 단순화하는 데 새로운 대수적 도구를 제시한다. 이러한 임셋을 통해 비선형 조합 최적화 문제를 선형 정수계획법으로 변환함으로써, 저자들은 비방향성 그래프에서 스패닝 트리와 포레스트를 학습하는 것이 다항시간 내에 해결 가능하다고 밝히며, 반면 절차적 하위구조나 유계 차수의 구조를 학습하는 것은 표준 점수 등가성과 분해 가능성 가정 하에 NP-난이도임을 증명한다.

ABSTRACT

Bayesian networks are basic graphical models, used widely both in statistics and artificial intelligence. These statistical models of conditional independence structure are described by acyclic directed graphs whose nodes correspond to (random) variables in consideration. A quite important topic is the learning of Bayesian network structures, which is determining the best fitting statistical model on the basis of given data. Although there are learning methods based on statistical conditional independence tests, contemporary methods are mainly based on maximization of a suitable quality criterion that evaluates how good the graph explains the occurrence of the observed data. This leads to a nonlinear combinatorial optimization problem that is in general NP-hard to solve. In this paper we deal with the complexity of learning restricted Bayesian network structures, that is, we wish to find network structures of highest score within a given subset of all possible network structures. For this, we introduce a new unique algebraic representative for these structures, called the characteristic imset. We show that these imsets are always 0-1-vectors and that they have many nice properties that allow us to simplify long proofs for some known results and to easily establish new complexity results for learning restricted Bayes network structures.

연구 동기 및 목표

• 표준 점수 등가성과 분해 가능성 가정 하에 제한된 베이지안 네트워크 구조 학습의 복잡도를 다루기 위해.
• 베이지안 네트워크의 마르코프 등가류를 유일하게 식별하는 새로운 대수적 표현인 특성 임셋을 개발하기 위해.
• 비선형 최적화 문제를 선형 정수계획법으로 변환함으로써 다각형 접근법을 학습에 적용하기 위해.
• 스패닝 트리, 포레스트, 절차적 하위구조와 같은 특정 유형의 구조 학습에 대해 다항시간 대비 NP-난이도 복잡도 결과를 확립하기 위해.
• 기존 복잡도 결과의 증명을 통합하고 단순화하며 기하학적 및 조합 기법을 활용해 새로운 결과를 도출할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 표준 임셋을 역행 가능한 애핀 변환을 통해 유도한 0-1 벡터인 특성 임셋을 도입하여 격자 구조를 유지한다.
• 특성 임셋을 순환하지 않는 방향 그래프(DAG)의 마르코프 등가류를 표현하기 위해 사용하며, 각 성분은 해당 노드 부분집합이 본질적 그래프에서 클리크를 이룬다는 것을 나타낸다.
• 베이지안 네트워크 구조 학습 문제를 특성 임셋의 볼록 hull(특성 임셋 다면체) 위에서의 선형 정수계획법으로 재구성한다.
• 점수 함수가 점수 등가성과 분해 가능성을 만족할 경우 특성 임셋에 대해 선형 함수로 표현될 수 있음을 활용하여 선형계획법 재구성 가능하다.
• 기존의 NP-난이도 문제(예: 클리크 탐지)로부터 다항시간 환원을 적용하여 절차적 하위구조 및 유계 차수의 구조 학습의 난이도를 증명한다.
• 특성 임셋의 성분이 1인 경우에만 해당 부분집합이 본질적 그래프에서 클리크임을 이용하여 구조적 제약 조건을 목적 함수에 통합한다.

실험 결과

연구 질문

• RQ1 특성 임셋과 같은 대수적 표현을 통해 제한된 베이지안 네트워크 구조 학습의 복잡도 증명을 체계적으로 단순화할 수 있는가?
• RQ2 주어진 점수 함수 하에 비방향성 그래프에서 스패닝 트리와 포레스트를 학습하는 것은 다항시간 내에 해결 가능한가?
• RQ3 표준 점수 함수 하에 절차적 하위구조 학습의 계산 복잡도는 무엇인가?
• RQ4 노드에 차수 제한을 가미하면 제한된 베이지안 네트워크 구조 학습의 복잡도는 어떻게 변하는가?
• RQ5 특성 임셋을 사용하여 베이지안 네트워크 구조 학습 문제에 대한 일반적인 다각형 기술을 유도할 수 있는가?

주요 결과

• 표준 점수 등가성과 분해 가능성 가정 하에 비방향성 그래프에서 스패닝 트리와 포레스트를 학습하는 것은 다항시간 내에 해결 가능하다.
• 점수 함수가 고정되어 있고 최대 클리크 크기가 유계이더라도 비방향성 그래프에서 절차적 하위구조를 학습하는 것은 NP-난이도이다.
• 모든 노드에 대해 상수 차수 제한 $ k \geq 2 $ 을 가미하면 학습 문제는 NP-난이도 문제가 된다.
• 특성 임셋은 0-1 벡터이며, 마르코프 등가류를 유일하게 표현할 수 있어, 학습 문제를 깔끔한 대수적·기하학적 재구성 가능하다.
• 특성 임셋의 사용은 점수 함수의 구체적 형태에 의존하지 않는 우아한 증명을 가능하게 하여 복잡도 결과를 쉽게 도출할 수 있다.
• 특성 임셋 다면체는 정확히 특성 임셋들만을 정점으로 포함하며, 선형 기술을 통해 베이지안 네트워크 구조 학습에 대한 다각형 접근법을 실현할 수 있다.