[论文解读] Learning Identifiable Gaussian Bayesian Networks in Polynomial Time and Sample Complexity

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Mar 3, 2017

Bayesian Modeling and Causal Inference被引用 22

一句话总结

该论文提出了一种多项式时间算法，用于学习具有相等噪声方差的稀疏高斯贝叶斯网络，利用精度矩阵估计和最小二乘回归。在弱于以往方法的忠实性条件下，仅需 O(k⁴ log p) 个样本即可以高概率实现精确的DAG恢复，其结构恢复性能优于现有最先进方法，同时保持高效性。

ABSTRACT

Learning the directed acyclic graph (DAG) structure of a Bayesian network from observational data is a notoriously difficult problem for which many hardness results are known. In this paper we propose a provably polynomial-time algorithm for learning sparse Gaussian Bayesian networks with equal noise variance --- a class of Bayesian networks for which the DAG structure can be uniquely identified from observational data --- under high-dimensional settings. We show that $O(k^4 \log p)$ number of samples suffices for our method to recover the true DAG structure with high probability, where $p$ is the number of variables and $k$ is the maximum Markov blanket size. We obtain our theoretical guarantees under a condition called Restricted Strong Adjacency Faithfulness, which is strictly weaker than strong faithfulness --- a condition that other methods based on conditional independence testing need for their success. The sample complexity of our method matches the information-theoretic limits in terms of the dependence on $p$. We show that our method out-performs existing state-of-the-art methods for learning Gaussian Bayesian networks in terms of recovering the true DAG structure while being comparable in speed to heuristic methods.

研究动机与目标

• 开发一种可证明高效的算法，用于学习具有相等噪声方差的稀疏高斯贝叶斯网络的结构。
• 在弱于强忠实性的假设下实现精确的DAG恢复，具体为受限强邻接忠实性（RSAF）。
• 在高维设置下（p为变量数，k为马尔可夫毯大小）达到信息论样本复杂度的理论极限。
• 在结构学习的准确性和计算效率方面，优于现有的基于评分和基于独立性检验的方法。

提出的方法

• 该方法从观测数据中估计p维精度矩阵。
• 通过求解2(p−1)个至多k维的普通最小二乘问题来恢复DAG结构。
• 该算法依赖于一种新颖的条件，称为α-受限强邻接忠实性（RSAF），其严格弱于强忠实性。
• 在高维设置中，将正则化参数设为2√(log p / n)以控制估计误差。
• 该方法设计具有可扩展性，其计算复杂度在p和k上为多项式时间。
• 在RSAF假设下推导出理论保证，确保以O(k⁴ log p)个样本实现高概率的真DAG恢复。

实验结果

研究问题

• RQ1 我们能否以多项式时间与样本复杂度，精确学习具有相等噪声方差的稀疏高斯贝叶斯网络的DAG结构？
• RQ2 所提出的方法是否实现了接近信息论下限的样本复杂度？
• RQ3 受限强邻接忠实性（RSAF）的假设是否严格弱于强忠实性，从而实现更广泛的应用？
• RQ4 与现有最先进算法相比，该方法在结构恢复准确性和计算速度方面表现如何？

主要发现

• 所提出的算法在使用O(k⁴ log p)个样本时，以至少1−δ的概率恢复真实DAG结构，其样本复杂度在对数因子范围内达到信息论极限。
• 在所有测试设置（p = 50至200）中，该方法均实现了完美的精确率与召回率（1.000 ± 0.000），表明真实DAG被精确恢复。
• 与MMHC和GES相比，该算法显著更快，运行时间分别为0.089秒（p=50）和5.13秒（p=200），尽管PC方法精度较低，但其速度仍不及本方法。
• 在RSAF条件下，本方法成功运行，而基于独立性检验的方法（如PC）因依赖强忠实性而失败。
• 即使在高维设置下（p=200，k=5），该算法仍保持高准确性，展现出良好的可扩展性。
• 理论分析表明，该方法的样本复杂度在对数因子范围内为最优，接近O(k log p)的信息论下限。