[논문 리뷰] Learning Identifiable Gaussian Bayesian Networks in Polynomial Time and Sample Complexity

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|2017. 03. 03.

Bayesian Modeling and Causal Inference인용 수 22

한 줄 요약

이 논문은 등가의 잡음 분산을 가진 희박한 가우시안 베이지안 네트워크를 다항 시간 내에 학습하기 위한 알고리즘을 제안한다. 역공분산 추정과 최소제곱 회귀를 활용하며, 이전 방법들보다 더 약한 충실성 조건 하에서 오직 O(k⁴ log p)개의 샘플로도 높은 확률로 정확한 DAG 복원을 달성한다. 이는 기존의 최첨단 기법들보다도 성능이 뛰어나면서도 효율성을 유지한다.

ABSTRACT

Learning the directed acyclic graph (DAG) structure of a Bayesian network from observational data is a notoriously difficult problem for which many hardness results are known. In this paper we propose a provably polynomial-time algorithm for learning sparse Gaussian Bayesian networks with equal noise variance --- a class of Bayesian networks for which the DAG structure can be uniquely identified from observational data --- under high-dimensional settings. We show that $O(k^4 \log p)$ number of samples suffices for our method to recover the true DAG structure with high probability, where $p$ is the number of variables and $k$ is the maximum Markov blanket size. We obtain our theoretical guarantees under a condition called Restricted Strong Adjacency Faithfulness, which is strictly weaker than strong faithfulness --- a condition that other methods based on conditional independence testing need for their success. The sample complexity of our method matches the information-theoretic limits in terms of the dependence on $p$. We show that our method out-performs existing state-of-the-art methods for learning Gaussian Bayesian networks in terms of recovering the true DAG structure while being comparable in speed to heuristic methods.

연구 동기 및 목표

• 등가의 잡음 분산을 가진 희박한 가우시안 베이지안 네트워크의 구조를 증명 가능하게 효율적으로 학습하기 위한 알고리즘을 개발하는 것.
• 강한 충실성보다 더 약한 조건인 제약된 강한 인접 충실성(RSAF)을 가정할 때 정확한 DAG 복원을 달성하는 것.
• p(변수 수)가 크고 k(마르코프 블랭킷 크기)가 작을 때 고차원 설정에서 정보이론적 샘플 복잡도 한계를 충족시키는 것.
• 구조 학습에서 기존의 점수 기반 및 독립성 검정 기반 기법들보다 정확도와 계산 효율성 면에서 모두 뛰어나도록 하는 것.

제안 방법

• 관측 데이터로부터 p차원의 역공분산 행렬을 추정한다.
• DAG의 구조를 복원하기 위해 최대 k차원의 일반선형제곱문제 2(p−1)개를 푼다.
• 알고리즘은 강한 충실성보다 엄밀히 더 약한 조건인 α-제약된 강한 인접 충실성(RSAF)이라는 새로운 조건에 의존한다.
• 고차원 설정에서 추정 오차를 제어하기 위해 정규화 파라미터를 2√(log p / n)로 설정한다.
• 계산 복잡도가 p와 k에 대해 다항식이 되도록 스케일러블하도록 설계되었다.
• RSAF 하에서 이론적 보장을 도출하였으며, O(k⁴ log p)개의 샘플로 참값 DAG를 높은 확률로 복원할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 등가의 잡음 분산을 가진 희박한 가우시안 베이지안 네트워크의 정확한 DAG 구조를 다항 시간 및 샘플 복잡도로 학습할 수 있는가?
• RQ2 제안된 방법이 정보이론적 하한에 가까운 샘플 복잡도를 달성하는가?
• RQ3 제약된 강한 인접 충실성(RSAF)의 가정이 강한 충실성보다 엄밀히 더 약한가? 이는 더 넓은 적용 가능성을 의미하는가?
• RQ4 기존 최첨단 알고리즘들과 비교해 본다면, 구조 복원 정확도와 계산 속도 면에서 본 방법은 어떠한가?

주요 결과

• 제안된 알고리즘은 O(k⁴ log p)개의 샘플로 확률 1−δ 이상으로 참값 DAG를 복원하며, 이는 정보이론적 한계에 로그 인자까지 정확히 부합한다.
• 모든 테스트 설정(p = 50에서 200까지)에서 정밀도와 재현율이 모두 1.000 ± 0.000을 기록하여 참값 DAG의 정확한 복원을 보여준다.
• MMHC와 GES보다 훨씬 빠른 속도를 보이며, p=50일 때 0.089초, p=200일 때 5.13초의 실행 시간을 기록하여 PC보다도 빠르지만, PC는 정밀도가 낮다.
• RSAF 조건 하에서, 독립성 검정 기반 기법들인 PC는 강한 충실성에 의존하므로 실패하는 반면, 본 방법은 성공한다.
• p=200, k=5의 고차원 설정에서도 높은 정확도를 유지하며 확장 가능성을 입증한다.
• 이론적 분석을 통해 본 방법의 샘플 복잡도는 정보이론적 하한 O(k log p)에 로그 인자까지 최적에 가깝게 수렴함을 보였다.