[논문 리뷰] Estimating high-dimensional directed acyclic graphs with the PC-algorithm

Markus Kalisch, Peter Bühlmann|ArXiv.org|2005. 10. 20.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 611

한 줄 요약

이 논문은 변수 수 $ p $ 가 표본 크기 $ n $ 의 다항식보다 더 빠르게 증가하는 경우에도 최소한의 희박성 가정 하에 고차원 방향성 비순환 그래프(DAGs)를 추정하는 PC-알고리즘의 이론적 일致성을 확립한다. 이는 $ p $ 가 $ n $ 의 어떤 다항식보다도 더 빠르게 증가할 때조차도 진짜 DAG 스켈레톤을 일관되게 복원할 수 있음을 증명한다. 이 방법은 부분상관계수를 통한 조건부 인적 테스트를 활용하며, 실무에서 조정 파rameter 선택에 대해 강건함을 입증한다.

ABSTRACT

We consider the PC-algorithm Spirtes et. al. (2000) for estimating the skeleton of a very high-dimensional acyclic directed graph (DAG) with corresponding Gaussian distribution. The PC-algorithm is computationally feasible for sparse problems with many nodes, i.e. variables, and it has the attractive property to automatically achieve high computational efficiency as a function of sparseness of the true underlying DAG. We prove consistency of the algorithm for very high-dimensional, sparse DAGs where the number of nodes is allowed to quickly grow with sample size n, as fast as O(n^a) for any 0

연구 동기 및 목표

• 표본 크기 $ n $ 과 함께 변수 수 $ p $ 가 급격히 증가하는 고차원 DAG의 스켈레톤 추정을 위한 PC-알고리즘의 이론적 일관성을 확립하는 것.
• 이웃 수가 $ n $ 보다 더 낮은 순서이면 충분한 조건 하에서 PC-알고리즘이 계산적으로 타당하고 통계적으로 일관되게 유지됨을 보여주는 것.
• 유한 표본에서 단일 조정 파rameter(유의수준)의 선택에 대해 실증적 증거 기반으로 알고리즘이 강건함을 보여주는 것.
• $ p > n $ 인 고차원 설정에서 PC-알고리즘의 사용에 대한 엄밀한 점근적 정당성을 제공하여 기존의 DAG 구조 학습 방법의 격차를 메우는 것.

제안 방법

• PC-알고리즘은 부분상관계수를 사용한 조건부 인적 테스트를 통해 간선을 반복적으로 제거함으로써 DAG의 스켈레톤을 추정하는 데 적용된다.
• 알고리즘은 완전한 무방향 그래프에서 시작하여 단계별로 증가하는 조건 변수 집합을 고려하여 조건부 인적을 테스트하며, 최대 단계 수 $ m_n $ 까지 진행된다.
• 조건부 인적은 유의수준 $ \alpha_n = 2(1 - \Phi(n^{1/2}c_n/2)) $ 를 사용하여 평가되며, 표본 크기가 증가함에 따라 점점 작아져 일관성을 확보한다.
• 이 방법은 충실성 가정과 d-분리 기준을 활용하여 데이터 내 조건부 인적과 그래프 구조를 연결한다.
• 이론적 분석은 부분상관계수의 표본 분포에 대한 농도 부등식과 尾尾 확률 한계를 사용하여 제1종 및 제2종 오류를 통제한다.
• 증명은 $ n \to \infty $ 일 때 간선 선택 오류의 확률이 0으로 수렴함을 보여주며, 이는 $ 0 < a < \infty $ 인 $ p = O(n^a) $ 인 경우에도 미약한 희박성 조건 하에서 성립한다.

실험 결과

연구 질문

• RQ1 변수 수 $ p $ 가 표본 크기 $ n $ 의 다항식보다 더 빠르게 증가할 때, PC-알고리즘이 고차원 DAG의 스켈레톤을 일관되게 추정할 수 있는가?
• RQ2 각 노드의 이웃 수가 $ n $ 보다 더 낮은 순서이면 충분한 조건 하에서 PC-알고리즘이 여전히 일관성을 유지하는가?
• RQ3 유한 표본에서 PC-알고리즘은 단일 조정 파aram터(유의수준)의 선택에 얼마나 민감한가?
• RQ4 $ p > n $ 인 고차원 설정에서 PC-알고리즘이 일관된 DAG 스켈레톤 복원을 달성하는 조건은 무엇인가?
• RQ5 PC-알고리즘은 $ p $ 가 $ n $ 과 함께 초다항적으로 증가할 때조차도 계산적으로 타당하고 통계적으로 타당한가?

주요 결과

• 표본 크기 $ n \to \infty $ 일 때, 최소한의 희박성 조건 하에서 $ p = O(n^a) $ 인 모든 $ 0 < a < \infty $ 에 대해 PC-알고리즘이 고차원 DAG의 스켈레톤 추정에 대해 증명 가능한 일관성을 가진다.
• 알고리즘은 적응형 희박성 인식 구조 덕분에 $ p $ 가 $ n $ 의 어떤 다항식보다도 더 빠르게 증가할 때조차도 계산적 타당성과 통계적 일관성을 유지한다.
• 간선 선택 오류의 확률은 지수적으로 감소하며, 특히 $ O(\exp(-C_5(n - m_n)c_n^2)) $ 로 유계되며, $ n \to \infty $ 일 때 0으로 수렴한다.
• 실증 결과에 따르면, 의미 수준 $ \alpha_n $ 의 선택에 대해 강건한 성능을 보이며, 알고리즘이 조정 파aram터의 선택에 민감하지 않음을 확인한다.
• 진짜 DAG의 이웃 크기가 $ n $ 보다 더 느리게 증가하더라도 PC-알고리즘은 일관성을 유지하므로, 다양한 고차원 모델에 적용 가능하다.
• 이론적 결과는 정지 단계 $ m_n $ 가 $ m_n = O(n^{1-b}) $ 를 만족하도록 선택되면 표본 PC-알고리즘이 높은 확률로 인구 버전과 일치함을 확인한다.