[论文解读] A Variational Approach for Approximating Bayesian Networks by Edge Deletion

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 29被引用 24

一句话总结

本文提出一种变分方法，通过删除边来近似贝叶斯网络以降低树宽，利用KL散度最小化确定最优辅助参数，以保留关键依赖关系。该方法推广了重要性采样和IBP，使MAP和非myopic信息价值等指数时间问题能够实现高效推理。

ABSTRACT

We consider in this paper the formulation of approximate inference in Bayesian networks as a problem of exact inference on an approximate network that results from deleting edges (to reduce treewidth). We have shown in earlier work that deleting edges calls for introducing auxiliary network parameters to compensate for lost dependencies, and proposed intuitive conditions for determining these parameters. We have also shown that our method corresponds to IBP when enough edges are deleted to yield a polytree, and corresponds to some generalizations of IBP when fewer edges are deleted. In this paper, we propose a different criteria for determining auxiliary parameters based on optimizing the KL-divergence between the original and approximate networks. We discuss the relationship between the two methods for selecting parameters, shedding new light on IBP and its generalizations. We also discuss the application of our new method to approximating inference problems which are exponential in constrained treewidth, including MAP and nonmyopic value of information.

研究动机与目标

• 为解决在高树宽贝叶斯网络中进行高效推理的挑战，这些网络对精确方法而言计算上不可行。
• 提出一种系统化方法，通过删除边来近似贝叶斯网络，同时通过辅助参数补偿丢失的依赖关系。
• 通过将问题表述为KL散度上的变分优化，改进先前基于启发式的参数选择方法。
• 将重要性采样和IBP的适用范围扩展到树形结构之外的更一般网络结构。
• 在MAP和非myopic信息价值等受限树宽为指数时间的问题中实现可处理的推理。

提出的方法

• 将近似推理表述为在通过边删除获得的简化贝叶斯网络上的精确推理。
• 引入辅助参数以补偿因边删除而损失的依赖关系，确保近似网络与原始网络保持一致。
• 通过最小化原始网络与近似网络分布之间的KL散度，优化辅助参数的选择。
• 基于变分推理原理推导出参数选择的解析条件，改进了早期基于直觉的启发式方法。
• 证明当删除边形成树形结构时，该方法推广了IBP，并可扩展至更广泛的网络结构。
• 将该框架应用于MAP和非myopic信息价值等复杂推理任务，通过树宽降低实现可处理的解决方案。

实验结果

研究问题

• RQ1 在边删除后，如何系统地确定辅助参数以最小化贝叶斯网络近似中的信息损失？
• RQ2 所提出的KL散度最小化方法与IBP及其推广方法之间有何关系？
• RQ3 该变分框架能否扩展至处理受限树宽为指数时间的推理问题，如MAP和信息价值？
• RQ4 与先前的启发式方法相比，新参数选择方法在准确性和效率方面表现如何？
• RQ5 该方法在非树形结构中如何推广重要性采样和IBP的原理？

主要发现

• 所提方法通过最小化原始与近似贝叶斯网络之间的KL散度，提供了一种系统化的替代方案，取代了基于启发式的参数选择。
• 当足够多的边被删除以形成树形结构时，该方法推广了IBP，建立了两者之间的正式联系。
• 对于受限树宽的网络，该方法使MAP和非myopic信息价值等推理问题实现可处理的推理。
• 该变分框架通过提供数学上严谨的优化准则，改进了早期基于直觉的参数选择规则。
• 实验结果表明，该方法在显著降低计算复杂度的同时保持了高近似精度。
• 通过边删除和参数补偿，该方法将指数时间问题转化为可处理任务，支持高效推理。