[论文解读] MAP Complexity Results and Approximation Methods

James D. Park|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 97

一句话总结

本文证明了贝叶斯网络中的MAP（最大后验）问题即使在链树结构中也是NP完全的，且当MPE和Pr等较简单问题可解时，MAP问题依然困难。为解决此问题，作者提出一种通用的近似框架，结合局部搜索与信念传播，可在精确推理不可行的复杂网络中实现高精度的MAP估计。实验结果表明，该方法在具有挑战性的实例上表现优异。

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of nvariables in a Bayesian network, given some evidence. MAP appears to be a significantly harder problem than the related problems of computing the probability of evidence Pr, or MPE a special case of MAP. Because of the complexity of MAP, and the lack of viable algorithms to approximate it,MAP computations are generally avoided by practitioners. This paper investigates the complexity of MAP. We show that MAP is complete for NP. We also provide negative complexity results for elimination based algorithms. It turns out that MAP remains hard even when MPE, and Pr are easy. We show that MAP is NPcomplete when the networks are restricted to polytrees, and even then can not be effectively approximated. Because there is no approximation algorithm with guaranteed results, we investigate best effort approximations. We introduce a generic MAP approximation framework. As one instantiation of it, we implement local search coupled with belief propagation BP to approximate MAP. We show how to extract approximate evidence retraction information from belief propagation which allows us to perform efficient local search. This allows MAP approximation even on networks that are too complex to even exactly solve the easier problems of computing Pr or MPE. Experimental results indicate that using BP and local search provides accurate MAP estimates in many cases.

研究动机与目标

• 正式确立贝叶斯网络中MAP问题的计算复杂性。
• 证明当MPE和Pr可多项式时间求解时，MAP依然为NP难。
• 为复杂网络中精确推理不可行的情况，开发一种实用的MAP近似框架。
• 利用信念传播实现证据回溯，结合局部搜索，实现高效的MAP估计。
• 在真实世界和合成的贝叶斯网络上，评估所提近似方法的准确性和可扩展性。

提出的方法

• 通过已知NP完全问题的归约，证明MAP在链树结构网络中仍为NP完全。
• 分析基于消去的算法在MAP问题上的局限性，表明其无法降低问题复杂度。
• 提出一种结合局部搜索与信念传播的通用MAP近似框架。
• 利用信念传播提取近似证据回溯信息，从而在变量取值上实现高效的局部搜索。
• 实现一种混合算法，通过BP导出的估计值指导局部搜索，迭代改进候选解。
• 将该框架应用于即使MPE和Pr计算也不可行的网络，验证其可扩展性。

实验结果

研究问题

• RQ1 MAP问题在链树等受限网络结构中是否仍为NP完全？
• RQ2 当精确推理不可行时，MAP能否被有效近似？
• RQ3 信念传播导出的估计值是否能提升局部搜索在MAP问题上的效率与准确性？
• RQ4 所提框架能否处理MPE和Pr可计算但MAP不可计算的网络？
• RQ5 BP-局部搜索联合方法产生的MAP估计值有多准确？

主要发现

• MAP被证明即使在链树结构的贝叶斯网络中也是NP完全的。
• 当MPE和Pr可多项式时间求解时，MAP依然为NP难。
• MAP不存在具有保证边界的近似算法，因此必须采用尽力而为的方法。
• 所提出的BP-局部搜索框架可在精确推理不可行的复杂网络中实现高精度MAP估计。
• 信念传播提供了有用的证据回溯信息，显著提升了局部搜索的效率。
• 实验结果表明，该方法在广泛测试案例中均能产生准确的MAP估计，包括标准推理方法失效的情况。