[论文解读] Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression

Bryon Aragam, Arash A. Amini+1 more|arXiv (Cornell University)|Nov 29, 2015

Bayesian Modeling and Causal Inference参考文献 48被引用 34

一句话总结

该论文提出了一种惩罚邻域回归方法，用于从高维多变量正态数据（$p \gg n$）中学习高维有向无环图（DAG）。通过将DAG解释为递归线性结构方程模型，并对所有可能的邻域进行统一的邻域回归分析，该研究在凹正则化（包括MCP、SCAD、$\ell_1$ 和 $\ell_0$）下，首次建立了基于评分的DAG估计器的有限样本支持恢复与偏差界，且无需假设已知的变量排序。

ABSTRACT

We study a family of regularized score-based estimators for learning the structure of a directed acyclic graph (DAG) for a multivariate normal distribution from high-dimensional data with $p\gg n$. Our main results establish support recovery guarantees and deviation bounds for a family of penalized least-squares estimators under concave regularization without assuming prior knowledge of a variable ordering. These results apply to a variety of practical situations that allow for arbitrary nondegenerate covariance structures as well as many popular regularizers including the MCP, SCAD, $\ell_{0}$ and $\ell_{1}$. The proof relies on interpreting a DAG as a recursive linear structural equation model, which reduces the estimation problem to a series of neighbourhood regressions. We provide a novel statistical analysis of these neighbourhood problems, establishing uniform control over the superexponential family of neighbourhoods associated with a Gaussian distribution. We then apply these results to study the statistical properties of score-based DAG estimators, learning causal DAGs, and inferring conditional independence relations via graphical models. Our results yield---for the first time---finite-sample guarantees for structure learning of Gaussian DAGs in high-dimensions via score-based estimation.

研究动机与目标

• 弥合高维数据中广泛使用的基于评分的DAG学习方法与缺乏此类方法理论保证之间的差距。
• 在不假设已知变量排序的前提下，建立高维DAG模型中惩罚最小二乘估计器的有限样本支持恢复与偏差界。
• 在一般非退化协方差结构下，分析基于评分的DAG估计器在凹正则化（包括MCP、SCAD、$\ell_1$ 和 $\ell_0$）下的统计性质。
• 为高斯DAG中的邻域回归问题提供一种新颖的统计框架，实现对超指数级邻域族的统一控制。

提出的方法

• 该方法将DAG解释为递归线性结构方程模型（SEM），将结构学习问题简化为一系列邻域回归问题。
• 采用惩罚最小二乘（PLS）评分函数 $ Q(B) = \frac{1}{2n}\|\mathbf{X} - \mathbf{X}B\|_2^2 + \rho_\lambda(B) $，其中 $ \rho_\lambda $ 为凹正则化项。
• 通过使用集中不等式控制每个邻域回归的经验误差，实现对超指数级邻域族的统一偏差控制。
• 引入一个随机排列集合 $ \mathbb{S}_p^0 $，以刻画在该估计器表现良好的潜在DAG排序集合。
• 利用单调性论证并结合对所有可能邻域集合的并集界，推导出经验损失偏离其期望的高概率界。
• 通过将这些邻域层面的界与正则化路径及真实DAG结构的假设相结合，推导出理论保证。

实验结果

研究问题

• RQ1 基于评分的DAG估计器是否能在 $ p \gg n $ 的高维设置下，无需假设已知变量排序，实现有限样本支持恢复保证？
• RQ2 在一般非退化协方差结构下，带有凹正则化（如MCP、SCAD、$\ell_1$、$\ell_0$）的惩罚最小二乘估计器是否能实现一致的结构学习？
• RQ3 当真实DAG可识别且具有因果性时，能否对基于评分的DAG学习的统计性质进行严格分析？
• RQ4 邻域回归在实现对高维估计中DAG超指数族的统一控制中起到什么作用？
• RQ5 如何在不依赖不可验证假设的前提下，为DAG估计中经验损失建立高概率偏差界？

主要发现

• 该论文在 $ p \gg n $ 的高维设置下，首次建立了基于评分的DAG估计器在凹正则化下的有限样本支持恢复保证。
• 该研究为与高斯DAG相关的超指数级邻域族提供了统一的偏差界，实现了对邻域回归误差的高概率控制。
• 该方法在无需事先知道变量排序的前提下，对包括MCP、SCAD、$\ell_1$ 和 $\ell_0$ 在内的广泛正则化器类别实现了支持恢复。
• 当 $ u = \sqrt{2(C+1)(d+1)\log p} $ 时，估计器未能恢复真实DAG结构的概率被限制在 $ 2e^{-C(d+1)\log p} $ 以内，该界随 $ p $ 多项式衰减。
• 分析表明，在较弱的正则性条件下，真实DAG $ \pi_0 $ 属于集合 $ \mathbb{S}_p^0 $，从而确保了估计器的一致性。
• 理论界在不假设邻接矩阵稀疏性或已知排序的前提下推导得出，使结果适用于一大类高维DAG模型。