[논문 리뷰] Learning linear structural equation models in polynomial time and sample complexity

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|2017. 07. 14.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

이 논문은 신뢰성 있는 가정과 가우시안성 가정을 완화한 일반화된 식별 가능성 조건을 활용하여 순수 관측 데이터에서 선형 구조적 방정식 모델(SEM)을 학습하는 새로운 알고리즘을 제시한다. 이 알고리즘은 정밀도 행렬 추정과 반복적 소스 정점 제거를 통해 정확한 DAG 복원을 가능하게 하며, 계산 및 통계적 효율성 보장하에 다항 시간 및 표본 복잡도를 달성한다. 희소성 조건 하에서는 복잡도가 $\widetilde{\mathcal{O}}(p^3 + pd^7)$로 유계이며, 밀도가 높은 경우 $\widetilde{\mathcal{O}}(p^5)$로 증가한다.

ABSTRACT

The problem of learning structural equation models (SEMs) from data is a fundamental problem in causal inference. We develop a new algorithm --- which is computationally and statistically efficient and works in the high-dimensional regime --- for learning linear SEMs from purely observational data with arbitrary noise distribution. We consider three aspects of the problem: identifiability, computational efficiency, and statistical efficiency. We show that when data is generated from a linear SEM over $p$ nodes and maximum degree $d$, our algorithm recovers the directed acyclic graph (DAG) structure of the SEM under an identifiability condition that is more general than those considered in the literature, and without faithfulness assumptions. In the population setting, our algorithm recovers the DAG structure in $\\mathcal{O}(p(d^2 + \\log p))$ operations. In the finite sample setting, if the estimated precision matrix is sparse, our algorithm has a smoothed complexity of $\\widetilde{\\mathcal{O}}(p^3 + pd^7)$, while if the estimated precision matrix is dense, our algorithm has a smoothed complexity of $\\widetilde{\\mathcal{O}}(p^5)$. For sub-Gaussian noise, we show that our algorithm has a sample complexity of $\\mathcal{O}(\\frac{d^8}{\\varepsilon^2} \\log (\\frac{p}{\\sqrt{\\delta}}))$ to achieve $\\varepsilon$ element-wise additive error with respect to the true autoregression matrix with probability at most $1 - \\delta$, while for noise with bounded $(4m)$-th moment, with $m$ being a positive integer, our algorithm has a sample complexity of $\\mathcal{O}(\\frac{d^8}{\\varepsilon^2} (\\frac{p^2}{\\delta})^{1/m})$.

연구 동기 및 목표

• 고차원 설정에서 순수 관측 데이터로부터 선형 SEM을 학습하는 계산 및 통계적으로 효율적인 알고리즘을 개발하는 것.
• 신뢰성 및 가우시안 노이즈를 초월한 식별 가능성 조건을 일반화하여 더 약한 가정 하에서도 DAG의 구조를 복원할 수 있도록 하는 것.
• 유계 오차 범위 내에서 자동재귀 행렬 추정에 대해 다항 시간 복잡도와 최적의 표본 복잡도를 달성하는 것.
• 조건부 인식 테스트와 신뢰성 가정에 의존하지 않도록 하여 실무에서 검증이 어려운 제약 조건을 제거하는 것.
• 가우시안 및 비가우시안 노이즈 모두에 대해 보장 가능한 수렴 성질을 갖는 비모수적 방법을 제공하는 것.

제안 방법

• 알고리즘은 정밀도 행렬을 입력으로 사용하고, $\mathcal{O}(p(d^2 + \log p))$의 연산 수에서 SEM의 구조와 매개변수를 복원하기 위해 콘도리트 유사 분해를 수행한다.
• 알고리즘은 DAG에서 종단 정점(소스 정점)을 반복적으로 식별하고 제거하며, 정밀도 행렬의 희소성 패턴을 기반으로 구조 학습을 이끌어낸다.
• 각 반복 단계는 정밀도 행렬이 희소할 경우 최대 $d$개의 선형 프로그래밍 문제를 $d^2$ 차원에서 해결하며, 이로 인해 부드러운 복잡도는 $\widetilde{\mathcal{O}}(p^3 + pd^7)$로 유도된다.
• 밀도가 높은 정밀도 행렬의 경우 복잡도는 $\widetilde{\mathcal{O}}(p^5)$로 증가하며, 이는 지수 시간 대안보다 현저히 우수하다.
• 정밀도 행렬은 $p$개의 선형 프로그래밍 문제를 통해 추정되며, 자동재귀 행렬의 일致한 추정을 보장하기 위해 정규화 기법이 적용된다.
• 분산 스케일링과 비가우시안성에 기반한 새로운 식별 가능성 조건을 수립하여, 이 조건이 식별 가능성에 필수적인 것은 아니지만 충분한 조건임을 보이며, 일반적으로 이 조건이 필수적임을 증명한다.

실험 결과

연구 질문

• RQ1 신뢰성 가정이나 가우시안 노이즈 가정 없이 선형 SEM을 다항 시간 및 다항 표본 복잡도로 학습할 수 있는가?
• RQ2 관측 데이터로부터 선형 SEM의 DAG 구조가 식별 가능한 최소한의 조건은 무엇인가?
• RQ3 희소 및 밀도가 높은 정밀도 행렬 환경에서 알고리즘의 복잡도가 변수 수 $p$와 최대 차수 $d$에 따라 어떻게 변화하는가?
• RQ4 고정 확률 $1 - \delta$ 하에서 자동재귀 행렬을 $\varepsilon$-오차 범위 내로 추정하기 위한 최적의 표본 복잡도는 무엇인가?
• RQ5 $d = o(p)$인 고차원 설정에서 기존 방법보다 더 낮은 표본 복잡도를 달성할 수 있는가?

주요 결과

• 일반화된 식별 가능성 조건 하에서, 인구 설정에서는 $\mathcal{O}(p(d^2 + \log p))$ 연산 내에 진짜 DAG의 구조를 복원한다.
• 유한 표본 설정에서는 추정된 정밀도 행렬이 희소할 경우 부드러운 복잡도가 $\widetilde{\mathcal{O}}(p^3 + pd^7)$이며, 밀도가 높을 경우 $\widetilde{\mathcal{O}}(p^5)$이다.
• 서브가우시안 노이즈의 경우, 자동재귀 행렬의 $\varepsilon$-오차를 확률 $1 - \delta$ 이상로 달성하기 위해 표본 복잡도는 $\mathcal{O}(\frac{d^8}{\varepsilon^2} \log(\frac{p}{\sqrt{\delta}}))$이다.
• 4m차 수 moment가 유계인 노이즈의 경우 표본 복잡도는 $\mathcal{O}(\frac{d^8}{\varepsilon^2} (\frac{p^2}{\delta})^{1/m})$이며, 고차원 설정에서 기존 연구 대비 향상된 성능을 보인다.
• 알고리즘은 신뢰성 가정이나 조건부 인식 테스트를 요구하지 않으며, 오직 더 약한 인과적 최소성 조건에 의존한다.
• 식별 가능성 조건이 일반적으로 필수적임이 입증되었으며, 비가산적인 매개변수 설정 하에서 무수히 많은 DAG들이 동일한 공분산 및 정밀도 행렬을 유도할 수 있음을 보였다.