[论文解读] Learning directed acyclic graphs via bootstrap aggregating

Ru Wang, Jie Peng|arXiv (Cornell University)|Jun 9, 2014

Bayesian Modeling and Causal Inference参考文献 27被引用 4

一句话总结

该论文提出DAGBag，一种用于学习有向无环图（DAGs）的自助聚合方法，通过聚合从自助抽样中学习到的多个DAG，减少了高维设置下的假阳性结果。通过最小化与DAG集合的结构汉明距离，该方法实现了稳定、低方差的结构学习，同时保持了高统计功效，其高效的爬山法实现使该方法可扩展至高维数据。

ABSTRACT

Probabilistic graphical models are graphical representations of probability distributions. Graphical models have applications in many fields including biology, social sciences, linguistic, neuroscience. In this paper, we propose directed acyclic graphs (DAGs) learning via bootstrap aggregating. The proposed procedure is named as DAGBag. Specifically, an ensemble of DAGs is first learned based on bootstrap resamples of the data and then an aggregated DAG is derived by minimizing the overall distance to the entire ensemble. A family of metrics based on the structural hamming distance is defined for the space of DAGs (of a given node set) and is used for aggregation. Under the high-dimensional-low-sample size setting, the graph learned on one data set often has excessive number of false positive edges due to over-fitting of the noise. Aggregation overcomes over-fitting through variance reduction and thus greatly reduces false positives. We also develop an efficient implementation of the hill climbing search algorithm of DAG learning which makes the proposed method computationally competitive for the high-dimensional regime. The DAGBag procedure is implemented in the R package dagbag.

研究动机与目标

• 为解决在高维、小样本条件下DAG结构学习中的高方差和过拟合问题。
• 通过自助聚合实现方差减少，降低小样本中由噪声引起的假阳性边检测。
• 开发一种高效的爬山算法，实现高维设置下可扩展的DAG学习。
• 提出基于结构汉明距离的DAG空间距离度量族，以实现有效的聚合。
• 实现并评估一个通用的稳定DAG结构学习框架，可与任何DAG学习算法结合使用。

提出的方法

• 使用自助抽样生成多个数据子集，每个子集通过爬山搜索算法独立学习一个DAG。
• 定义了一组基于结构汉明距离的距离度量，用于衡量集合中DAG之间的差异性。
• 通过最小化与集合中所有DAG的总距离，推导出最终聚合的DAG，从而在不同抽样中实现稳定性。
• 实现了一种优化的爬山算法，重用先前搜索信息以加速评分计算和无环性检查。
• 在R包'dagbag'中实现该方法，支持与任何DAG学习过程的集成。
• 将聚合应用于多种评分准则（如BIC、BGe、GIC），展示了其鲁棒性和性能提升。

实验结果

研究问题

• RQ1 自助聚合能否显著减少高维DAG结构学习中的假阳性边检测？
• RQ2 与单模型方法相比，所提出的DAGBag框架在DAG学习的稳定性和准确性方面有何提升？
• RQ3 当与DAGBag结合使用时，不同评分准则（如BIC、BGe、GIC）在假阳性控制和统计功效方面的表现如何？
• RQ4 所提出的爬山法实现对于大规模DAG学习（如p=1000个节点）的效率如何？
• RQ5 当存在分布假设违反（如非正态性）时，DAGBag方法的鲁棒性如何？

主要发现

• DAGBag显著减少了假阳性边，尤其在高维设置下，同时保持了较高的边检测功效。
• 与非聚合方法相比，该方法更有效地减少了假阳性，其中BIC评分与DAGBag结合时表现出优异的性能和计算效率。
• 优化的爬山算法在1000个节点、n=250个样本的DAG上，约150秒内完成2000次搜索步骤。
• BGe评分（iss=10）导致过多假阳性，但通过聚合可有效缓解；而BGe（iss=3）在无聚合时表现更优。
• 该方法对非正态误差分布（如自由度为3、5的t分布和伽玛分布）具有鲁棒性，表明在分布误设条件下仍具可靠性。
• 通过DAGBag聚合后，BIC、似然和GIC评分的性能表现相似，但假阳性率显著低于非聚合版本。