[论文解读] Bayesian structure learning using dynamic programming and MCMC

Daniel Eaton, Kevin J. Murphy|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 30被引用 84

一句话总结

本文提出了一种混合贝叶斯结构学习方法，该方法在贝叶斯网络（DAG）空间的马尔可夫链蒙特卡洛（MCMC）采样中使用动态规划（DP）作为提议分布。通过利用DP精确计算边后验概率的能力，该方法克服了MCMC在混合效率方面的不足，同时保留了对非模块化先验和预测密度估计的灵活性，从而在测试数据上实现了更快的收敛速度和更高的预测准确性。

ABSTRACT

MCMC methods for sampling from the space of DAGs can mix poorly due to the local nature of the proposals that are commonly used. It has been shown that sampling from the space of node orders yields better results [FK03, EW06]. Recently, Koivisto and Sood showed how one can analytically marginalize over orders using dynamic programming (DP) [KS04, Koi06]. Their method computes the exact marginal posterior edge probabilities, thus avoiding the need for MCMC. Unfortunately, there are four drawbacks to the DP technique: it can only use modular priors, it can only compute posteriors over modular features, it is difficult to compute a predictive density, and it takes exponential time and space. We show how to overcome the first three of these problems by using the DP algorithm as a proposal distribution for MCMC in DAG space. We show that this hybrid technique converges to the posterior faster than other methods, resulting in more accurate structure learning and higher predictive likelihoods on test data.

研究动机与目标

• 解决标准MCMC方法在DAG空间中因局部且低概率的提议而导致混合效率差的问题。
• 克服动态规划（DP）在贝叶斯结构学习中的局限性，例如对先验类型的限制以及无法计算预测密度的问题。
• 将DP的准确性与MCMC在非模块化先验和特征类型上的灵活性相结合。
• 提升贝叶斯网络结构学习中的收敛速度与预测性能。
• 在支持通用先验和预测推断的同时，实现边后验概率的精确计算。

提出的方法

• 使用动态规划（DP）对所有可能的DAG精确计算边后验概率，作为MCMC中的提议分布。
• 在DAG空间的梅特罗波利斯-黑斯廷斯MCMC采样器中集成DP作为提议机制。
• 利用DP算法能够解析地对节点顺序进行边缘化的能力，避免了对顺序的MCMC采样。
• 通过仅将DP用作提议而非完整后验计算，保持了先验设定的完全灵活性（非模块化）。
• 通过保留MCMC框架，实现了预测密度的计算，而这是纯DP无法实现的。
• 采用混合采样策略，利用DP提议引导MCMC移动，从而改善混合效率与收敛速度。

实验结果

研究问题

• RQ1 动态规划能否作为贝叶斯DAG结构学习中MCMC的有效提议机制？
• RQ2 与在DAG空间中标准的MCMC相比，将DP与MCMC结合是否能提升收敛速度与混合效率？
• RQ3 该混合方法是否能够在保留DP边后验估计准确性的前提下，支持非模块化先验？
• RQ4 与纯DP或标准MCMC相比，该混合方法是否能在测试数据上获得更高的预测似然度？
• RQ5 在使用DP进行后验近似时，是否可行实现预测密度的计算？

主要发现

• 与标准MCMC在DAG空间中的方法相比，混合DP-MCMC方法能显著加快收敛至真实后验分布的速度。
• 该方法在测试数据上的预测似然度高于标准MCMC和纯DP方法。
• 通过将DP用作提议，该方法克服了DP仅能处理模块化先验的局限性，从而支持一般先验。
• 该方法支持预测密度的计算，而这是纯DP由于对顺序进行边缘化而无法实现的。
• 该方法在保持DP边后验概率精确性的同时，通过MCMC采样获得了灵活性。
• 实证结果表明，由于通过有信息的提议更好地探索了DAG空间，结构学习的准确性得到了提升。