[논문 리뷰] Algorithms and Complexity Results for Exact Bayesian Structure Learning

Sebastian Ordyniak, Stefan Szeider|arXiv (Cornell University)|2012. 03. 15.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 7

한 줄 요약

이 논문은 초구조(super-structure)에 대한 구조적 제약 조건 하에서 정확한 베이지안 구조 학습의 복잡도 결과를 제시하며, 초구조의 트리폭이 유계이면 다항시간 정확한 학습이 가능하고, 최대 차수 또한 유계이면 선형시간이 가능함을 보여준다. 결과적으로 트리폭과 차수 제약 조건이 타당성의 핵심임을 입증하며, 최대 k개의 수정을 允許하는 국소 탐색 변형에서도 마찬가지로 성립한다.

ABSTRACT

Bayesian structure learning is the NP-hard problem of discovering a Bayesian network that optimally represents a given set of training data. In this paper we study the computational worst-case complexity of exact Bayesian structure learning under graph theoretic restrictions on the super-structure. The super-structure (a concept introduced by Perrier, Imoto, and Miyano, JMLR 2008) is an undirected graph that contains as subgraphs the skeletons of solution networks. Our results apply to several variants of score-based Bayesian structure learning where the score of a network decomposes into local scores of its nodes. Results: We show that exact Bayesian structure learning can be carried out in non-uniform polynomial time if the super-structure has bounded treewidth and in linear time if in addition the super-structure has bounded maximum degree. We complement this with a number of hardness results. We show that both restrictions (treewidth and degree) are essential and cannot be dropped without loosing uniform polynomial time tractability (subject to a complexity-theoretic assumption). Furthermore, we show that the restrictions remain essential if we do not search for a globally optimal network but we aim to improve a given network by means of at most k arc additions, arc deletions, or arc reversals (k-neighborhood local search).

연구 동기 및 목표

• 초구조에 대한 그래프 이론적 제약 조건 하에서 정확한 베이지안 구조 학습의 계산 복잡도를 분석하는 것.
• 초구조의 트리폭과 최대 차수가 각각 유계일 경우 효율적인 정확한 학습이 가능한지 결정하는 것.
• 전역 최적화 및 국소 탐색 설정 모두에서 이러한 제약 조건이 타당성에 필수적인지 조사하는 것.
• 트리폭 또는 최대 차수 제약 조건을 제거할 경우 비타당성이 초래됨을 보여주는 복잡도 이론적 하한을 설정하는 것.

제안 방법

• 저자들은 모든 유효한 베이지안 네트워크의 스케letal 구조를 포함하는 무방향 초구조를 기반으로 베이지안 구조 학습 문제를 모델링한다.
• 네트워크 점수의 국소 노드 점수로 분해되는 점수 기반 학습을 분석한다.
• 트리 분해에 기반한 동적 프로그래밍을 사용하여 트리폭이 유계일 경우 비균일 다항시간을 달성한다.
• 추가적인 구조적 제약 조건을 적용하여 최대 차수도 유계일 경우 시간 복잡도를 선형으로 감소시킨다.
• 최대 k개의 간선 수정을 允許하는 k-neighborhood 국소 탐색으로 분석을 확장한다. 이 경우 목표는 주어진 네트워크를 최대 k개의 간선 수정으로 개선하는 것이다.
• 복잡도 이론적 가정을 사용하여 하드함 결과를 도출하며, 타당성을 위해 둘 다 제약 조건이 필수적임을 보여준다.

실험 결과

연구 질문

• RQ1 초구조의 트리폭이 유계일 경우 정확한 베이지안 구조 학습을 다항시간 내에 해결할 수 있는가?
• RQ2 트리폭과 최대 차수가 모두 유계일 경우 선형시간 정확한 학습이 가능할까?
• RQ3 최대 k개의 간선 수정을 允許하는 국소 탐색 변형의 복잡도는 어떠한가?
• RQ4 트리폭과 최대 차수 제약 조건이 타당성에 모두 필수적인가, 아니면 하나는 완화될 수 있는가?
• RQ5 정확한 구조 학습에서 하나의 제약 조건을 제거할 경우 복잡도 이론적 영향은 무엇인가?

주요 결과

• 초구조의 트리폭이 유계일 경우 정확한 베이지안 구조 학습은 비균일 다항시간 내에 해결 가능하다.
• 초구조의 최대 차수도 유계일 경우 문제는 선형시간 내에 해결 가능하다.
• 지배적 시간 가정(Exponential Time Hypothesis)을 가정할 경우 트리폭과 최대 차수 제약 조건이 균일 다항시간 타당성에 필수적이다.
• 동일한 복잡도 결과는 k-neighborhood 국소 탐색에서도 성립하며, 목표는 최대 k개의 간선 수정으로 네트워크를 개선하는 것이다.
• 표준 복잡도 이론적 가정 하에 하나의 제약 조건을 제거하면 비타당성이 초래된다.
• 결과는 분해 가능한 점수를 가진 점수 기반 학습에 적용되며, 일반적인 점수 기준 기준의 넓은 클래스를 포함한다.