[论文解读] Learning linear structural equation models in polynomial time and sample complexity

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Jul 14, 2017

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出了一种新颖的算法，用于从纯观测数据中学习线性结构方程模型（SEMs），并具有可证明的计算效率和统计效率。通过利用一种广义可识别性条件，该条件放宽了马尔可夫性与高斯性假设，实现了通过精度矩阵估计和迭代去除汇点（sink vertex）来精确恢复DAG结构，时间复杂度为$\widetilde{\mathcal{O}}(p^3 + pd^7)$（在稀疏情形下）和$\widetilde{\mathcal{O}}(p^5)$（在稠密情形下），均达到多项式时间与样本复杂度。

ABSTRACT

The problem of learning structural equation models (SEMs) from data is a fundamental problem in causal inference. We develop a new algorithm --- which is computationally and statistically efficient and works in the high-dimensional regime --- for learning linear SEMs from purely observational data with arbitrary noise distribution. We consider three aspects of the problem: identifiability, computational efficiency, and statistical efficiency. We show that when data is generated from a linear SEM over $p$ nodes and maximum degree $d$, our algorithm recovers the directed acyclic graph (DAG) structure of the SEM under an identifiability condition that is more general than those considered in the literature, and without faithfulness assumptions. In the population setting, our algorithm recovers the DAG structure in $\\mathcal{O}(p(d^2 + \\log p))$ operations. In the finite sample setting, if the estimated precision matrix is sparse, our algorithm has a smoothed complexity of $\\widetilde{\\mathcal{O}}(p^3 + pd^7)$, while if the estimated precision matrix is dense, our algorithm has a smoothed complexity of $\\widetilde{\\mathcal{O}}(p^5)$. For sub-Gaussian noise, we show that our algorithm has a sample complexity of $\\mathcal{O}(\\frac{d^8}{\\varepsilon^2} \\log (\\frac{p}{\\sqrt{\\delta}}))$ to achieve $\\varepsilon$ element-wise additive error with respect to the true autoregression matrix with probability at most $1 - \\delta$, while for noise with bounded $(4m)$-th moment, with $m$ being a positive integer, our algorithm has a sample complexity of $\\mathcal{O}(\\frac{d^8}{\\varepsilon^2} (\\frac{p^2}{\\delta})^{1/m})$.

研究动机与目标

• 开发一种在高维设置下，从纯观测数据中学习线性SEMs的计算与统计效率均高的算法。
• 将可识别性条件推广至超越马尔可夫性与高斯噪声的范围，使得在更弱假设下也能恢复DAG结构。
• 实现估计自回归矩阵的多项式时间复杂度与最优样本复杂度，且误差有界。
• 消除对条件独立性检验与马尔可夫性假设的依赖，因为这些在实践中难以验证且通常具有限制性。
• 提供一种非参数方法，适用于高斯与非高斯噪声，并具有可证明的收敛性保证。

提出的方法

• 该算法以精度矩阵（逆协方差矩阵）作为输入，通过类似Cholesky分解的方式恢复SEMs的结构与参数，计算量为$\mathcal{O}(p(d^2 + \log p))$。
• 通过迭代识别并移除DAG中的终端节点（汇点），利用精度矩阵的稀疏模式指导结构学习。
• 每次迭代最多求解$d$个在$d^2$维空间中的线性规划问题，当精度矩阵稀疏时，平滑时间复杂度为$\widetilde{\mathcal{O}}(p^3 + pd^7)$。
• 对于稠密精度矩阵，时间复杂度为$\widetilde{\mathcal{O}}(p^5)$，显著优于指数时间的替代方法。
• 通过$p$个线性规划估计精度矩阵，并应用正则化以确保自回归矩阵的一致估计。
• 提出一种基于方差缩放与非高斯性的新可识别性条件，表明这些条件并非必要但足以保证可识别性，且该条件在一般情况下是必要的。

实验结果

研究问题

• RQ1 是否可以在不依赖马尔可夫性或高斯噪声假设的前提下，以多项式时间与样本复杂度学习线性SEMs？
• RQ2 在何种最小条件下，线性SEMs的DAG结构可从观测数据中唯一识别？
• RQ3 在稀疏与稠密精度矩阵情形下，该算法的时间复杂度如何随变量数$p$与最大度数$d$变化？
• RQ4 在高概率下，以$\varepsilon$-误差估计自回归矩阵的最优样本复杂度是多少？
• RQ5 在$d = o(p)$的高维设置下，该算法是否能实现优于先前方法的样本复杂度？

主要发现

• 在总体设定下，该算法在广义可识别性条件下以$\mathcal{O}(p(d^2 + \log p))$次操作恢复真实DAG结构。
• 在有限样本设定下，当估计的精度矩阵稀疏时，平滑时间复杂度为$\widetilde{\mathcal{O}}(p^3 + pd^7)$；当精度矩阵稠密时，复杂度为$\widetilde{\mathcal{O}}(p^5)$。
• 对于次高斯噪声，样本复杂度为$\mathcal{O}(\frac{d^8}{\varepsilon^2} \log(\frac{p}{\sqrt{\delta}}))$，可实现以至少$1 - \delta$的概率达到$\varepsilon$-误差。
• 对于四阶矩有界的噪声，样本复杂度为$\mathcal{O}(\frac{d^8}{\varepsilon^2} (\frac{p^2}{\delta})^{1/m})$，在高维情形下优于先前工作。
• 该方法无需马尔可夫性或条件独立性检验，仅依赖于较弱的因果最小性条件。
• 该可识别性条件被证明在一般情况下是必要的，因为存在指数数量的DAG，在不可数多个参数设定下会诱导相同的协方差与精度矩阵。