[论文解读] Bayesian Structure Learning by Recursive Bootstrap

Raanan Y. Rohekar, Yaniv Gurwicz+3 more|arXiv (Cornell University)|Jan 1, 2018

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出了一种基于递归自展法的贝叶斯结构学习方法，通过在多个条件独立性层次上应用非参数自展法，提升了高维领域中对独立性检验错误的鲁棒性。该方法构建了一个评分CPDAG的树结构，其中更深层次的节点使用更多自展样本以稳定高阶依赖关系，从而实现了对数百个变量的可扩展因果结构学习，在模型选择与平均方面优于当前最先进方法。

ABSTRACT

We address the problem of Bayesian structure learning for domains with hundreds of variables by employing non-parametric bootstrap, recursively. We propose a method that covers both model averaging and model selection in the same framework. The proposed method deals with the main weakness of constraint-based learning---sensitivity to errors in the independence tests---by a novel way of combining bootstrap with constraint-based learning. Essentially, we provide an algorithm for learning a tree, in which each node represents a scored CPDAG for a subset of variables and the level of the node corresponds to the maximal order of conditional independencies that are encoded in the graph. As higher order independencies are tested in deeper recursive calls, they benefit from more bootstrap samples, and therefore are more resistant to the curse-of-dimensionality. Moreover, the re-use of stable low order independencies allows greater computational efficiency. We also provide an algorithm for sampling CPDAGs efficiently from their posterior given the learned tree. That is, not from the full posterior, but from a reduced space of CPDAGs encoded in the learned tree. We empirically demonstrate that the proposed algorithm scales well to hundreds of variables, and learns better MAP models and more reliable causal relationships between variables, than other state-of-the-art-methods.

研究动机与目标

• 解决约束型贝叶斯结构学习在高维领域中对独立性检验错误的敏感性问题。
• 通过递归自展抽样，实现在包含数百个变量的领域中的可扩展结构学习。
• 通过CPDAG的树状结构表示，统一模型平均与模型选择框架。
• 通过为高阶条件独立性分配更多自展样本，提升对维度灾难的鲁棒性。
• 在结构感知的CPDAG缩减空间上实现高效的后验抽样，从而提升计算效率。

提出的方法

• 该方法构建一棵树，其中每个节点代表一个子集变量的评分CPDAG，节点深度对应编码的最大阶条件独立性。
• 在更深层级进行递归调用以测试高阶条件独立性，得益于更大的自展样本量，从而缓解维度问题。
• 将稳定的低阶条件独立性在各层级间复用，以提升计算效率并减少冗余。
• 提出一种新颖的自展集成策略，将约束型学习与重抽样结合，降低对错误独立性检验的敏感性。
• 引入一种高效的抽样算法，从受限于学习到的树结构所编码的CPDAG后验分布中抽取样本。
• 该方法在贝叶斯框架内运行，基于后验概率对CPDAG进行评分与排序，同时聚焦于全空间中的可处理子集。

实验结果

研究问题

• RQ1 如何递归地应用自展重抽样以提升约束型结构学习在高维领域中的稳定性？
• RQ2 与标准约束型方法相比，递归自展抽样在多大程度上提升了所学CPDAG的准确性？
• RQ3 CPDAG的树状结构表示是否能够实现对数百个变量的可扩展且高效的贝叶斯结构学习？
• RQ4 在MAP模型选择与因果关系恢复方面，该方法与当前最先进方法相比表现如何？
• RQ5 为高阶条件独立性分配更多自展样本对模型鲁棒性有何影响？

主要发现

• 所提方法在包含数百个变量的领域中表现出良好的可扩展性，在计算效率与可扩展性方面优于现有方法。
• 该方法学习到的MAP模型优于当前最先进方法，结构准确性得到提升。
• 递归自展抽样的集成显著降低了对独立性检验错误的敏感性，从而提高了因果关系的可靠性。
• 高阶条件独立性在树的深层级因获得更大的自展样本量而更加稳定，有效缓解了维度灾难的影响。
• 在树结构所编码的CPDAG缩减空间上实现高效的后验抽样，可在不损失模型质量的前提下加快推理速度。
• 在各层级间复用稳定的低阶独立性显著提升了计算效率与模型一致性。