[论文解读] Dynamic Trees: A Structured Variational Method Giving Efficient Propagation Rules

Amos Storkey|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用 11

一句话总结

本文提出动态树（Dynamic Trees），一种结构化变分推断方法，通过使用树状结构的信念网络混合模型对非证据节点的后验分布进行建模。通过利用动态树的可 tractable 结构，该方法实现了高效、类似精确推断的传播规则，在一个小的玩具问题上，其准确性和收敛性均优于平均场方法和环状信念传播。

ABSTRACT

Dynamic trees are mixtures of tree structured belief networks. They solve some of the problems of fixed tree networks at the cost of making exact inference intractable. For this reason approximate methods such as sampling or mean field approaches have been used. However, mean field approximations assume a factorized distribution over node states. Such a distribution seems unlickely in the posterior, as nodes are highly correlated in the prior. Here a structured variational approach is used, where the posterior distribution over the non-evidential nodes is itself approximated by a dynamic tree. It turns out that this form can be used tractably and efficiently. The result is a set of update rules which can propagate information through the network to obtain both a full variational approximation, and the relevant marginals. The progagtion rules are more efficient than the mean field approach and give noticeable quantitative and qualitative improvement in the inference. The marginals calculated give better approximations to the posterior than loopy propagation on a small toy problem.

研究动机与目标

• 通过允许网络结构的动态自适应，解决固定树网络在近似推断中的局限性。
• 通过引入结构化变分近似，克服混合模型中精确推断的不可行性。
• 开发高效、可 tractable 的传播规则，以保持高质量的后验边缘分布，且不依赖于平均场假设。
• 改进平均场近似，后者假设节点分布是因子分解的，无法捕捉后验中节点间的强相关性。
• 为贝叶斯网络提供一种可扩展且准确的推断框架，在表达能力和计算效率之间实现平衡。

提出的方法

• 使用动态树——即树状结构信念网络的混合模型——作为非证据节点后验分布的变分近似。
• 构建变分分布，使其继承树结构的条件独立性结构，从而支持高效的信念传播。
• 推导出计算高效的闭式消息传播更新规则，避免使用采样或迭代优化。
• 通过最小化真实后验与动态树近似之间的 Kullback-Leibler 散度，应用结构化变分推断。
• 通过将变分族限制在支持通过消息传递实现精确推断的动态树上，确保方法的可 tractable 性。
• 利用所得传播规则，计算完整的变分近似以及变量上的边缘分布。

实验结果

研究问题

• RQ1 使用动态树的结构化变分近似是否能在捕捉后验依赖关系方面优于平均场方法？
• RQ2 能否为贝叶斯网络中非因子分解的变分族推导出高效、类似精确的传播规则？
• RQ3 与环状信念传播相比，动态树方法在小型图模型上的边缘近似质量是否有所提升？
• RQ4 该方法在建模非证据节点中复杂后验相关性的同时，是否仍能保持计算的可 tractable 性？
• RQ5 在收敛速度和准确性方面，该结构化变分方法与采样方法和平均场方法相比如何？

主要发现

• 在小的玩具问题上，动态树方法的边缘近似效果优于环状信念传播，表现出更优的定性和定量性能。
• 结构化变分方法得到的后验估计比平均场方法更准确，后者无法捕捉节点间的强相关性。
• 所推导的传播规则计算高效，可在变分族内实现精确推断，避免了采样或迭代优化的需要。
• 通过使用树状结构网络的混合模型，该方法成功建模了复杂的后验依赖关系，更准确地反映了真实后验结构。
• 动态树框架在保持灵活变分族的同时实现了可 tractable 推断，相比竞争方法具有更快的收敛速度和更高的准确性。
• 实验结果表明，与基线方法相比，动态树方法在推断质量和计算效率方面均有显著提升。