[논문 리뷰] Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression

Bryon Aragam, Arash A. Amini외 1명|arXiv (Cornell University)|2015. 11. 29.

Bayesian Modeling and Causal Inference참고 문헌 48인용 수 34

한 줄 요약

이 논문은 다변수 정규 데이터에서 $p \gg n$ 인 고차원 방향 비순환 그래프(DAGs)를 학습하기 위한 페널티 부여 이웃 회귀 접근법을 제안한다. DAG를 순차적 선형 구조 방정식 모델로 해석하고 모든 가능한 이웃 관계에 대해 이웃 회귀를 통합적으로 분석함으로써, 알려진 변수 순서가 없이도 볼록이 아닌 정규화(MCP, SCAD, $\ell_1$, $\ell_0$ 포함) 하에 점수 기반 DAG 추정기의 최초의 유한표본 지지 집합 복원 및 편차 한계를 확립한다.

ABSTRACT

We study a family of regularized score-based estimators for learning the structure of a directed acyclic graph (DAG) for a multivariate normal distribution from high-dimensional data with $p\gg n$. Our main results establish support recovery guarantees and deviation bounds for a family of penalized least-squares estimators under concave regularization without assuming prior knowledge of a variable ordering. These results apply to a variety of practical situations that allow for arbitrary nondegenerate covariance structures as well as many popular regularizers including the MCP, SCAD, $\ell_{0}$ and $\ell_{1}$. The proof relies on interpreting a DAG as a recursive linear structural equation model, which reduces the estimation problem to a series of neighbourhood regressions. We provide a novel statistical analysis of these neighbourhood problems, establishing uniform control over the superexponential family of neighbourhoods associated with a Gaussian distribution. We then apply these results to study the statistical properties of score-based DAG estimators, learning causal DAGs, and inferring conditional independence relations via graphical models. Our results yield---for the first time---finite-sample guarantees for structure learning of Gaussian DAGs in high-dimensions via score-based estimation.

연구 동기 및 목표

• 고차원 데이터에서 점수 기반 DAG 학습의 광범위한 활용과 이러한 방법에 대한 이론적 보장의 부족 사이의 격차를 메우기 위해.
• 알려진 변수 순서가 없는 고차원 DAG 모델에서 페널티 부여 최소제곱 추정기의 유한표본 지지 집합 복원 및 편차 한계를 확립하기 위해.
• 일반적인 비퇴도성 공분산 구조 하에서 볼록이 아닌 정규화(MCP, SCAD, $\ell_1$, $\ell_0$ 포함) 하에 점수 기반 DAG 추정기의 통계적 성질을 분석하기 위해.
• 가우시안 DAG에서의 이웃 회귀 문제를 위한 새로운 통계적 프레임워크를 제공하여 초초등급 이웃 집합에 대한 균일한 제어를 가능하게 하기 위해.

제안 방법

• 이 방법은 DAG를 순차적 선형 구조 방정식 모델(SEM)으로 해석하여, 구조 학습 문제를 일련의 이웃 회귀 문제로 환원한다.
• 볼록이 아닌 정규화 $ \rho_\lambda $를 사용하는 페널티 부여 최소제곱(PLS) 점수 함수 $ Q(B) = \frac{1}{2n}\|\mathbf{X} - \mathbf{X}B\|_2^2 + \rho_\lambda(B) $ 를 적용한다.
• 모든 가능한 이웃 집합에 대한 균일한 편차 제어를 확보하기 위해, 농도 불등식을 사용하여 각 이웃 회귀의 경험적 오차를 경계한다.
• 추정기가 잘 작동하는 가능한 DAG 순서 집합을 기술하기 위해 무작위 순열 집합 $ \mathbb{S}_p^0 $ 을 도입한다.
• 모노톤성 논증과 모든 가능한 이웃 집합에 대한 유니온 바운드를 활용하여, 경험 손실이 기대값에서 벗어남의 고확률 한계를 유도한다.
• 이웃 수준의 이러한 경계를 정규화 경로와 진짜 DAG의 구조에 대한 가정과 결합하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 알려진 변수 순서가 없이도 고차원 설정에서 $ p \gg n $ 인 점수 기반 DAG 추정기가 유한표본 지지 집합 복원 보장을 달성할 수 있는가?
• RQ2 볼록이 아닌 정규화(MCP, SCAD, $ \ell_1 $, $ \ell_0 $ 포함)를 사용하는 페널티 부여 최소제곱 추정기가 일반적인 비퇴도성 공분산 구조 하에서 일致성 있는 구조 학습을 달성할 수 있는가?
• RQ3 진짜 DAG가 식별 가능하고 인과적일 때, 점수 기반 DAG 학습의 통계적 성질을 엄밀하게 분석할 수 있는가?
• RQ4 고차원 추정에서 초초등급 DAG 가족에 대한 균일한 제어를 가능하게 하는 이웃 회귀의 역할은 무엇인가?
• RQ5 검증할 수 없는 가정에 의존하지 않고도 DAG 추정에서 경험 손실의 고확률 편차 한계를 어떻게 확립할 수 있는가?

주요 결과

• 이 논문은 볼록이 아닌 정규화 하에 고차원 설정에서 $ p \gg n $ 인 점수 기반 DAG 추정기의 최초의 유한표본 지지 집합 복원 보장을 확립한다.
• 가우시안 DAG와 관련된 초초등급 이웃 집합에 대해 균일한 편차 한계를 제공하여, 이웃 회귀 오차의 고확률 제어를 가능하게 한다.
• 이 방법은 MCP, SCAD, $ \ell_1 $, $ \ell_0 $ 등 광범위한 정규화자 클래스에 대해 지지 집합 복원을 달성하며, 변수 순서에 대한 사전 지식이 필요로 하지 않는다.
• 일반적으로 $ u = \sqrt{2(C+1)(d+1)\log p} $ 이면, 추정기가 진짜 DAG를 복원하지 못할 확률은 $ 2e^{-C(d+1)\log p} $ 이하로 경계되며, 이는 $ p $ 에 대해 다항적으로 감소한다.
• 분석 결과, 미세한 정규성 조건 하에 진짜 DAG $ \pi_0 $ 는 집합 $ \mathbb{S}_p^0 $ 에 속함을 보여 추정기의 일致성을 보장한다.
• 이론적 경계는 인접 행렬의 희박성이나 알려진 순서를 가정하지 않아도 되므로, 이 결과는 고차원 DAG 모델의 넓은 범주에 적용 가능하다.