[논문 리뷰] Learning directed acyclic graphs based on sparsest permutations

Garvesh Raskutti, Caroline Uhler|arXiv (Cornell University)|2013. 07. 01.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 9

한 줄 요약

이 논문은 관찰 데이터로부터 베이지안 네트워크를 학습하기 위한 희소성 최적화 순열(Sparsest Permutation, SP) 알고리즘을 소개한다. 이 알고리즘은 역공분산행렬의 콜레프스키 분해가 가장 희소해지는 변수 순열을 선택하여 방향성 비순환 그래프(DAG)의 마르코프 동치 클래스를 식별한다. SP 알고리즘은 신뢰성 조건보다 더 약한 구조의 의미 있는 관계(SMR) 가정 하에 통계적 일致성을 확보하며, 표준 방법인 PC, SGS, GES, MMHC보다 정확도가 뛰어나며, 표본 크기와 그래프 크기가 증가할수록 그 성능이 두드러지게 향상된다. 다만 계산 비용이 매우 높은 편이다.

ABSTRACT

We consider the problem of learning a Bayesian network or directed acyclic graph (DAG) model from observational data. A number of constraint-based, score-based and hybrid algorithms have been developed for this purpose. For constraint-based methods, statistical consistency guarantees typically rely on the faithfulness assumption, which has been show to be restrictive especially for graphs with cycles in the skeleton. However, there is only limited work on consistency guarantees for score-based and hybrid algorithms and it has been unclear whether consistency guarantees can be proven under weaker conditions than the faithfulness assumption. In this paper, we propose the sparsest permutation (SP) algorithm. This algorithm is based on finding the causal ordering of the variables that yields the sparsest DAG. We prove that this new score-based method is consistent under strictly weaker conditions than the faithfulness assumption. We also demonstrate through simulations on small DAGs that the SP algorithm compares favorably to the constraint-based PC and SGS algorithms as well as the score-based Greedy Equivalence Search and hybrid Max-Min Hill-Climbing method. In the Gaussian setting, we prove that our algorithm boils down to finding the permutation of the variables with sparsest Cholesky decomposition for the inverse covariance matrix. Using this connection, we show that in the oracle setting, where the true covariance matrix is known, the SP algorithm is in fact equivalent to $\ell_0$-penalized maximum likelihood estimation.

연구 동기 및 목표

• 신뢰성 조건보다 더 약한 조건 하에서도 일치성을 확보하는 원인 추론 알고리즘을 개발하는 것.
• 순환 그래프에서 표본 오차에 민감한 신뢰성에 의존하는 제약 기반 방법의 한계를 해결하는 것.
• 더 강력한 일치 보장을 위해 높은 계산 복잡도를 지닌 알고리즘을 제안함으로써 원인 발견에서 통계-계산의 상호 교환 관계를 설정하는 것.
• 가우시안 노이즈 없는 설정에서 SP 알고리즘이 ℓ₀-벌점 최대우도 추정과 동일한지 확인하는 것.
• SP 알고리즘을 표준 방법인 PC, SGS, GES, MMHC와 비교하여 스케letal 복구 정확도 측면에서 실증적으로 평가하는 것.

제안 방법

• SP 알고리즘은 모든 변수 순열을 탐색하여 역공분산행렬의 콜레프스키 분해가 가장 희소해지는 순열을 찾는다.
• 가우시안 노이즈 없는 설정에서는 SP 알고리즘이 정밀도 행렬을 학습하기 위해 ℓ₀-벌점 최대우도 추정과 수학적으로 동일하다.
• 이 방법은 제약된 신뢰성보다 더 약한 조건인 구조의 의미 있는 관계(SMR) 가정에 기반하며, 이는 일치성을 보장한다.
• 알고리즘은 모든 순열에서 가장 간선 수가 적은 DAG를 선택하여 마르코프 동치 클래스를 식별한다.
• 조건부 인적성 테스트를 통해 스켈레톤을 추정하고, 방향성 규칙을 통해 v-구조를 추론하지만, 핵심 선택 기준은 콜레프스키 인자에 대한 희소성이다.
• SP 알고리즘은 계산 비용이 매우 높아 소형에서 중형 그래프(≤10개 노드)에만 적용 가능하지만, 급진적 변형을 통해 수백 개 노드까지 확장 가능하다.

실험 결과

연구 질문

• RQ1 신뢰성 조건보다 더 약한 조건 하에서도 베이지안 네트워크를 학습할 수 있는가?
• RQ2 SP 알고리즘이 제약된 신뢰성보다 더 약한 SMR 가정 하에서도 일치성을 확보하는가?
• RQ3 SP 알고리즘은 PC, SGS, GES, MMHC와 같은 표준 원인 추론 알고리즘보다 정확도가 높은가?
• RQ4 원인 발견에서 더 강력한 일치 보장을 얻기 위해 발생하는 계산 비용은 얼마인가?
• RQ5 가우시안 설정에서 SP 알고리즘은 ℓ₀-벌점 최대우도 추정과 동일한가?

주요 결과

• SP 알고리즘은 제약된 신뢰성 가정보다 더 약한 SMR 가정 하에서도 통계적 일치성을 확보한다.
• 가우시안 노이즈 없는 설정에서는 SP 알고리즘이 역공분산행렬의 가장 희소한 콜레프스키 분해를 찾는 것과 수학적으로 동일하다.
• SP 알고리즘은 PC, SGS, GES, MMHC보다 스켈레톤 복구 정확도에서 뛰어나며, 노드 수가 5에서 8로 증가할수록 그 성능이 두드러지게 향상된다.
• p=8이고 n=10⁴일 때, 모든 유의수준(α=10⁻², 10⁻³, 10⁻⁴)에서 90% 이상의 시뮬레이션에서 정확한 스켈레톤을 복구하였다.
• 표본 크기가 클수록 기준 방법보다 더 적은 가짜 양성(과도한 간선)과 가짜 음성(누락된 간선)을 생성한다.
• SP 알고리즘의 계산 비용은 최대 10개 노드 이하의 그래프에만 적용 가능하게 하며, 명확한 통계-계산 상호 교환 관계를 보여준다.