[论文解读] Concave Penalized Estimation of Sparse Gaussian Bayesian Networks

Bryon Aragam, Qing Zhou|arXiv (Cornell University)|Jan 4, 2014

Bayesian Modeling and Causal Inference参考文献 55被引用 47

一句话总结

本文提出了一种快速的非凸惩罚似然方法，用于从高维观测数据中学习稀疏高斯贝叶斯网络，且不对其搜索空间施加限制。通过采用SCAD和MCP等凹惩罚，该方法在速度和灵敏度方面优于现有方法，同时在非忠实分布下提供了理论保证。

ABSTRACT

We develop a penalized likelihood estimation framework to estimate the structure of Gaussian Bayesian networks from observational data. In contrast to recent methods which accelerate the learning problem by restricting the search space, our main contribution is a fast algorithm for score-based structure learning which does not restrict the search space in any way and works on high-dimensional datasets with thousands of variables. Our use of concave regularization, as opposed to the more popular $\ell_0$ (e.g. BIC) penalty, is new. Moreover, we provide theoretical guarantees which generalize existing asymptotic results when the underlying distribution is Gaussian. Most notably, our framework does not require the existence of a so-called faithful DAG representation, and as a result the theory must handle the inherent nonidentifiability of the estimation problem in a novel way. Finally, as a matter of independent interest, we provide a comprehensive comparison of our approach to several standard structure learning methods using open-source packages developed for the R language. Based on these experiments, we show that our algorithm is significantly faster than other competing methods while obtaining higher sensitivity with comparable false discovery rates for high-dimensional data. In particular, the total runtime for our method to generate a solution path of 20 estimates for DAGs with 8000 nodes is around one hour.

研究动机与目标

• 解决在传统方法因计算不可行而失效的高维观测数据中学习稀疏高斯贝叶斯网络的挑战。
• 开发一种基于评分的结构学习算法，不限制搜索空间，避免依赖忠实性假设，且无需变量排序或实验数据。
• 通过引入SCAD、MCP等凹惩罚，克服贝叶斯网络中$ε_1$正则化的局限性，提升稀疏性和估计精度。
• 在真实DAG不忠实的情况下，提供模型选择一致性的理论保证，以新颖方式处理固有的不可识别性问题。
• 在包含高达8,000个变量的数据集上实现可扩展性，实现在大规模网络上的近实时性能。

提出的方法

• 将结构学习建模为使用结构方程模型表示条件独立关系的惩罚似然优化问题。
• 对精度矩阵中的边系数应用凹惩罚$p_{λ}(\cdot)$，如SCAD和MCP，以诱导稀疏性并避免$ε_1$正则化的偏差。
• 使用坐标下降算法高效求解非凸优化问题，实现在$p \gg n$的高维设置下的可扩展性。
• 引入解路径算法，计算一系列调优参数下的估计值，支持通过交叉验证或信息准则进行模型选择。
• 通过分析局部极大值并利用浓度不等式控制估计误差，在一般条件下（包括非忠实分布）建立理论一致性。
• 利用凹惩罚满足$p_{λ}(0) = 0$且在$t \geq 0$时非减且为凹的性质，确保在弱正则性条件下具备优良的Oracle性质。

实验结果

研究问题

• RQ1 非凸惩罚似然框架是否能在不假设忠实性的高维高斯贝叶斯网络中实现一致的结构学习？
• RQ2 在DAG估计中，凹正则化（如SCAD、MCP）与$ε_1$正则化相比，在灵敏度和假发现率方面表现如何？
• RQ3 能否设计一种快速的基于评分的算法，在不剪枝或限制搜索空间的情况下探索数千个变量的全部DAG空间？
• RQ4 在真实分布不忠实、马尔可夫等价类不可识别的情况下，该估计器的理论性质是什么？
• RQ5 与现有最先进方法相比，该方法在大规模数据集上的运行时间和准确性表现如何？

主要发现

• 该方法在约一小时内完成8,000个节点的DAG解路径计算，显著优于现有方法的运行时间。
• 在高维数据中，该方法在保持相近假发现率的同时，灵敏度高于其他方法，表明其能更优地检测真实边。
• 在贝叶斯网络结构学习背景下，SCAD和MCP等凹惩罚相比$ε_1$正则化能实现更优的估计性能。
• 理论结果表明，即使底层分布不忠实，该估计器仍能一致地选择真实DAG结构，因其不依赖马尔可夫等价性。
• 该方法对高维设置（$p \gg n$）具有鲁棒性，模拟和真实数据实验均显示其性能稳定。
• 使用开源R包进行的实证比较表明，该算法在保持或提升准确性的前提下，显著快于现有基于评分的方法。