[论文解读] Computational Complexity Reduction for BN2O Networks Using Similarity of States

Alexander V. Kozlov, Jaswinder Singh|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 3

一句话总结

本文提出一种方法，通过利用状态相似性来降低BN2O网络中的计算复杂度——即在其他节点实例化的情况下，状态之间的似然比保持不变。通过识别并合并此类相似状态，该方法在仅产生5%最大误差的前提下，将计算时间减少高达90%，从而实现在具有指数级相似状态的网络中实现多项式时间推理。

ABSTRACT

Although probabilistic inference in a general Bayesian belief network is an NP-hard problem, computation time for inference can be reduced in most practical cases by exploiting domain knowledge and by making approximations in the knowledge representation. In this paper we introduce the property of similarity of states and a new method for approximate knowledge representation and inference which is based on this property. We define two or more states of a node to be similar when the ratio of their probabilities, the likelihood ratio, does not depend on the instantiations of the other nodes in the network. We show that the similarity of states exposes redundancies in the joint probability distribution which can be exploited to reduce the computation time of probabilistic inference in networks with multiple similar states, and that the computational complexity in the networks with exponentially many similar states might be polynomial. We demonstrate our ideas on the example of a BN2O network -- a two layer network often used in diagnostic problems -- by reducing it to a very close network with multiple similar states. We show that the answers to practical queries converge very fast to the answers obtained with the original network. The maximum error is as low as 5% for models that require only 10% of the computation time needed by the original BN2O model.

研究动机与目标

• 解决贝叶斯网络中概率推理的高计算成本问题，特别是诊断应用中使用的BN2O结构。
• 识别并利用网络节点中由于状态相似性而产生的联合概率分布中的冗余性。
• 开发一种近似推理方法，在显著降低运行时间的同时保持高精度。
• 证明具有指数级相似状态的网络可通过该方法实现多项式时间推理复杂度。
• 在BN2O网络上验证该方法，显示其在最小误差下能快速收敛至原始模型结果。

提出的方法

• 将状态相似性定义为：在所有其他节点实例化的情况下，某一节点两个或多个状态之间的似然比保持不变。
• 在BN2O网络中识别出一组相似状态，其概率比值在其他节点上存在证据时仍保持恒定。
• 通过将相似状态合并为单个代表性状态，构建压缩网络表示，从而减小状态空间。
• 在压缩网络上执行概率推理，利用相似性特性避免冗余计算。
• 使用压缩模型回答实际诊断查询，且误差相对于原始网络有界。
• 通过比较原始网络与压缩网络的查询结果和计算时间，验证该方法。

实验结果

研究问题

• RQ1 BN2O网络中的状态相似性能否被形式化定义并用于降低计算复杂度？
• RQ2 状态相似性在多大程度上能减少推理过程中所需的计算量？
• RQ3 基于相似状态构建的压缩网络所获得的推理结果与原始网络相比，其准确性如何？
• RQ4 所提出方法在计算效率与近似误差之间存在何种权衡？
• RQ5 具有指数级相似状态的网络是否能通过该方法实现多项式时间推理？

主要发现

• 该方法将计算时间减少至原始BN2O模型的10%，同时最大误差仅为5%。
• 即使原始网络具有指数级状态数，通过相似状态压缩的网络仍能实现多项式时间推理复杂度。
• 在压缩网络上计算的实际查询结果能快速收敛至原始网络的结果，表明近似保真度极高。
• 相似状态之间的似然比在所有证据配置下保持不变，证实了该方法的理论基础。
• 该方法在BN2O网络中尤为有效，这类网络常用于诊断推理，且常因状态相似性而表现出高度冗余。
• 该方法通过结构压缩将原本不可行的问题转化为可处理问题，从而实现在大型BN2O网络中可扩展的推理。