[论文解读] Structure Learning in Bayesian Networks of Moderate Size by Efficient Sampling

Ru He, Jin Tian+1 more|arXiv (Cornell University)|Jan 19, 2015

Bayesian Modeling and Causal Inference参考文献 34被引用 5

一句话总结

本文提出了首个针对贝叶斯网络中精确贝叶斯结构学习的高效算法，通过根据真实后验分布对DAG进行采样实现。该方法可对模块化与非模块化特征（例如路径、组合路径）进行精确的贝叶斯模型平均，显著优于以往方法，在估计结构特征方面具有保证的一致性与指数收敛速率。

ABSTRACT

We study the Bayesian model averaging approach to learning Bayesian network structures (DAGs) from data. We develop new algorithms including the first algorithm that is able to efficiently sample DAGs according to the exact structure posterior. The DAG samples can then be used to construct estimators for the posterior of any feature. We theoretically prove good properties of our estimators and empirically show that our estimators considerably outperform the estimators from the previous state-of-the-art methods.

研究动机与目标

• 解决由于可能的DAG结构数量呈超指数增长，导致贝叶斯模型平均在贝叶斯网络中计算困难的问题。
• 开发一种基于采样的方法，高效地根据精确后验分布生成DAG，克服以往动态规划与近似方法的局限性。
• 实现对非模块化结构特征（如路径、组合路径、有限长度路径）的精确估计，这些特征在因果发现中具有语义意义，但此前难以精确计算。
• 从理论上证明所提出估计器的一致性与快速收敛性，确保从数据中进行可靠推断。
• 通过实证结果证明，新方法在估计结构特征后验概率方面优于当前最先进方法。

提出的方法

• 提出一种新颖的马尔可夫链蒙特卡洛（MCMC）采样算法，可直接从精确后验分布 $ p(G|D) $ 生成DAG，确保结构特征估计无偏。
• 采用精心设计的DAG上提议分布的Metropolis-Hastings框架，保持细致平衡性，确保收敛至真实后验分布。
• 引入一种新颖的DAG表示与转移机制，支持高效局部移动（如边的增删、v-结构变化），同时保持无环性。
• 采用归一化技术处理后验分布中难以计算的归一化常数，采样过程中仅关注相对概率。
• 利用遍历性与不可约性的理论基础，确保马尔可夫链以正概率探索所有有效DAG。
• 通过测度论论证推导收敛性保证，证明估计器几乎必然收敛至真实后验分布。

实验结果

研究问题

• RQ1 我们能否设计一种高效的采样算法，使DAG能精确按照后验分布 $ p(G|D) $ 生成，从而避免穷举枚举的不可行性？
• RQ2 所提出的方法能否比现有的动态规划或近似方法更准确地估计非模块化结构特征（如有向路径或路径组合）？
• RQ3 基于采样的结构特征估计器具有怎样的理论收敛性质？其收敛速度如何？
• RQ4 在真实与合成数据上，该方法在估计精度与计算效率方面与当前最先进方法相比表现如何？
• RQ5 该方法能否扩展以处理复杂特征（如有限长度路径或条件路径存在性），这些特征在因果推断中至关重要？

主要发现

• 所提出的采样算法是首个实现DAG上精确后验采样的方法，可对任意结构特征实现一致且精确的贝叶斯模型平均。
• 从采样DAG中导出的估计器几乎必然收敛至任意特征的真实后验概率，收敛速率呈指数级，快于任意几何速率 $ o(a^{N_o}) $（其中 $ 0 < a < 1 $）。
• 实验结果表明，该方法在估计路径与路径组合等复杂结构特征方面显著优于以往最先进方法。
• 该方法成功计算出非模块化特征（如“是否存在从X经Z到Y的路径”）的确切后验概率，而这些特征此前因空间复杂度过高，动态规划方法难以处理。
• 理论分析证实，基于采样的估计器具有一致性，且以概率收敛，具备强大的有限样本性能保证。
• 该算法在中等规模贝叶斯网络（最多25个变量）上表现出良好可扩展性，克服了以往动态规划方法仅限于少于20个变量的空间限制。