[论文解读] Computing Upper and Lower Bounds on Likelihoods in Intractable Networks

Tommi Jaakkola, Michael I. Jordan|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用 57

一句话总结

本文针对难以处理的贝叶斯网络（特别是Sigmoid和noisy-OR模型）提出了边缘似然的确定性边界，采用凸松弛和线性规划方法。当精确推理在计算上不可行时，该方法能高效计算出紧致的上下界，数值结果表明在各种网络结构中边界均具有高度紧致性。

ABSTRACT

We present deterministic techniques for computing upper and lower bounds on marginal probabilities in sigmoid and noisy-OR networks. These techniques become useful when the size of the network (or clique size) precludes exact computations. We illustrate the tightness of the bounds by numerical experiments.

研究动机与目标

• 解决由于团大小过大导致精确推理在计算上不可行的贝叶斯网络中边缘似然的计算挑战。
• 为Sigmoid和noisy-OR网络中的边缘概率开发确定性、可扩展的边界计算技术。
• 提供计算上可行且在经验上紧致的边界，以实现在大规模或复杂网络中的可靠推理。
• 在需要高精度边界时，为基于采样的方法提供一种实用的替代方案。

提出的方法

• 使用凸松弛技术将难以处理的推理问题转化为可处理的优化问题。
• 应用线性规划通过松弛原始概率模型的约束条件，计算边缘概率的上下界。
• 采用变分公式，通过可处理的上下界近似真实配分函数。
• 利用Sigmoid和noisy-OR网络的结构特性，通过参数化松弛方案推导出紧致边界。
• 利用松弛的对偶形式，推导出在多项式时间内可证明有效且可计算的边界。

实验结果

研究问题

• RQ1 我们能否在精确推理不可行的贝叶斯网络中，计算出可靠的边缘似然上下界？
• RQ2 凸松弛技术在真实世界难以处理的网络结构中产生的边界有多紧致？
• RQ3 线性规划能否有效用于Sigmoid和noisy-OR网络中边缘概率的边界计算？
• RQ4 在精度和计算成本方面，所提出的边界方法与基于采样的方法相比表现如何？

主要发现

• 所提出的边界在经验上具有高度紧致性，数值实验表明在各种网络配置中上下界之间高度一致。
• 与精确推理相比，该方法实现了显著的计算节省，使大规模网络的可扩展性成为可能。
• 边界在多项式时间内可证明有效且可计算，适合实际部署。
• 当需要高精度时，该技术在边界紧致性方面优于基于采样的方法。