[논문 리뷰] High-dimensional learning of linear causal networks via inverse covariance estimation

Po‐Ling Loh, Peter Bühlmann|arXiv (Cornell University)|2013. 11. 14.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 102

한 줄 요약

이 논문은 역공분산 추정과 동적 프로그래밍을 사용하여 고차원 선형 가우시안 및 비가우시안 인과 네트워크를 학습하기 위한 이단계 방법을 제안한다. 오차 분산이 알려져 있거나 잘 추정될 경우 진짜 DAG는 재가중 제곱 ℓ₂-손실 점수의 유일한 최소화자임을 입증하고, 진짜 DAG와 대체 DAG 간의 '간격' 조건이 성립할 경우 고차원적 일致성을 증명한다.

ABSTRACT

We establish a new framework for statistical estimation of directed acyclic graphs (DAGs) when data are generated from a linear, possibly non-Gaussian structural equation model. Our framework consists of two parts: (1) inferring the moralized graph from the support of the inverse covariance matrix; and (2) selecting the best-scoring graph amongst DAGs that are consistent with the moralized graph. We show that when the error variances are known or estimated to close enough precision, the true DAG is the unique minimizer of the score computed using the reweighted squared l_2-loss. Our population-level results have implications for the identifiability of linear SEMs when the error covariances are specified up to a constant multiple. On the statistical side, we establish rigorous conditions for high-dimensional consistency of our two-part algorithm, defined in terms of a "gap" between the true DAG and the next best candidate. Finally, we demonstrate that dynamic programming may be used to select the optimal DAG in linear time when the treewidth of the moralized graph is bounded.

연구 동기 및 목표

• 오차가 비가우시안일 경우에도 고차원 선형 구조 방정식 모델(SEM)에서 방향성 비순환 그래프(DAG)를 통계적으로 일致하는 방법을 개발하는 것.
• 모든 DAG 탐색의 계산 비용이 과도한 문제를 해결하기 위해 역공분산 추정에서 유도된 모리얼라이즈드 그래프를 사용해 탐색 공간을 제한하는 것.
• 진짜 DAG가 점수 기반 선택 절차를 통해 식별 가능하고 유일하게 복원 가능한 이론적 조건을 설정하는 것.
• 그래픽스 로자스와 역공분산 추정의 적용 범위를 가우시안 모델을 초월해 일반 선형 SEM에 비가우시안 오차가 있는 경우로 확장하는 것.
• 모리얼라이즈드 그래프의 트리너비가 유계일 경우 동적 프로그래밍이 DAG 선택 단계를 효율적으로 해결할 수 있으며, 선형 시간 복잡도를 달성할 수 있음을 보여주는 것.

제안 방법

• 그래픽스 로자스와 같은 방법을 사용해 연합분포의 역공분산 행렬을 추정하여 조건부 인적성 구조를 추론하는 것.
• 추정된 역공분산 행렬의 지지집합에서 유도된 모리얼라이즈드 그래프를 구성하여 기저의 DAG 스케letal을 표현하는 것.
• 분해 가능 점수 함수—특히 재가중 제곱 ℓ₂-손실—을 사용해 모리얼라이즈드 그래프와 일치하는 후보 DAG를 평가하는 것.
• 트리너비가 유계일 경우 모리얼라이즈드 그래프에 호환되는 DAG들을 동적 프로그래밍으로 탐색하여 선형 시간 복잡도를 달성하는 것.
• 행렬 농도 불등식을 활용해 역공분산 행렬의 추정 오차를 유계로 제한하고 고차원 점근적 조건 하에서 일치성을 확보하는 것.
• 오차 분산이 알려져 있거나 일致적으로 추정될 경우 진짜 DAG가 점수 함수의 유일한 최소화자임을 입증하는 것.

실험 결과

연구 질문

• RQ1 비가우시안 선형 SEM에서 역공분산 행렬이 모리얼라이즈드 그래프의 일관된 추정에 기여할 수 있는가?
• RQ2 재가중 제곱 ℓ₂-손실 점수 함수의 진짜 DAG가 유일한 최소화자인 조건은 무엇인가?
• RQ3 모리얼라이즈드 그래프를 사용해 DAG의 탐색 공간을 효과적으로 제한하여 확장 가능한 학습을 가능하게 할 수 있는가?
• RQ4 진짜 DAG와 대체 DAG 간의 '간격' 조건이 성립할 경우 두 단계 알고리즘의 고차원 일치성 보장을 어떻게 확보할 수 있는가?
• RQ5 모리얼라이즈드 그래프의 트리너비가 유계일 경우 동적 프로그래밍을 사용해 DAG 선택 문제를 효율적으로 해결할 수 있는가?

주요 결과

• 오차 분산이 알려져 있거나 충분한 정밀도로 추정될 경우 진짜 DAG는 재가중 제곱 ℓ₂-손실 점수 함수의 유일한 최소화자이다.
• 진짜 DAG와 다음으로 좋은 후보 DAG 사이의 '간격' 조건이 성립할 경우 두 단계 알고리즘의 고차원 일치성이 입증된다.
• 모리얼라이즈드 그래프는 비가우시안 선형 SEM에서도 여전히 역공분산 행렬 추정을 통해 일관되게 추정될 수 있다.
• 모리얼라이즈드 그래프의 트리너비가 유계일 경우 동적 프로그래밍을 사용해 최적의 DAG를 선형 시간 내에 찾을 수 있다.
• 행렬 농도 불등식은 역공분산 추정 오차에 대한 균일한 유계를 제공하여, 서브가우시안 가정 하에서 고차원 일치성을 보장한다.
• 이 프레임워크는 그래픽스 로자스와 역공분산 추정의 적용 범위를 가우시안 모델을 초월해 일반 선형 SEM에 비가우시안 오차가 있는 경우로 확장한다.