[论文解读] Approximating MAP using Local Search

James D. Park, Adnan Darwiche|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 45

一句话总结

本文提出一种基于局部搜索的方法，用于近似贝叶斯网络中的最大后验（MAP）估计，将计算复杂度降低为仅依赖于树宽（treewidth），而非更严格的受限树宽（constrained treewidth）。该方法相较于标准方法，显著提高了MAP近似的准确性，同时空间和时间复杂度与计算后验概率或MPE的复杂度相当。

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of variables in a Bayesian network, given evidence. Unlike computing marginals, posteriors, and MPE (a special case of MAP), the time and space complexity of MAP is not only exponential in the network treewidth, but also in a larger parameter known as the "constrained" treewidth. In practice, this means that computing MAP can be orders of magnitude more expensive than computingposteriors or MPE. Thus, practitioners generally avoid MAP computations, resorting instead to approximating them by the most likely value for each MAP variableseparately, or by MPE.We present a method for approximating MAP using local search. This method has space complexity which is exponential onlyin the treewidth, as is the complexity of each search step. We investigate the effectiveness of different local searchmethods and several initialization strategies and compare them to otherapproximation schemes.Experimental results show that local search provides a much more accurate approximation of MAP, while requiring few search steps.Practically, this means that the complexity of local search is often exponential only in treewidth as opposed to the constrained treewidth, making approximating MAP as efficient as other computations.

研究动机与目标

• 为解决贝叶斯网络中精确MAP推理的高计算成本问题，该问题在树宽和一个更大的参数——受限树宽上均为指数级增长。
• 开发一种实用的MAP近似方法，具备可扩展性和高效性，避免精确计算带来的高昂代价。
• 评估局部搜索策略和初始化方法在提升MAP近似精度方面的有效性。
• 证明局部搜索可实现仅由树宽主导的MAP近似复杂度，而非受限树宽，从而使其效率与其它推理任务相当。

提出的方法

• 该方法使用局部搜索，通过基于贝叶斯网络条件概率分布导出的评分函数，迭代改进MAP变量的候选赋值。
• 每一步搜索通过计算给定当前赋值下证据的对数似然，评估邻近赋值，聚焦于局部改进。
• 通过多种策略初始化搜索，包括边际MAP变量赋值和随机初始化，以探索搜索空间的不同区域。
• 算法采用最速上升或首次改进策略，高效导航搜索空间，并通过重启或多样化策略避免陷入局部最优。
• 空间复杂度受网络树宽限制，因为在搜索过程中仅需存储局部团，而无需像某些方法那样存储受限树宽相关结构。
• 该方法在基准贝叶斯网络上实现并评估，与基于边际化的近似方法及MPE进行性能对比。

实验结果

研究问题

• RQ1 与标准的边际化或基于MPE的启发式方法相比，局部搜索能否提供更精确的MAP近似？
• RQ2 局部搜索的复杂度是否仅随树宽增长，而非受限树宽，从而使其在大规模网络中具备实用性？
• RQ3 不同的局部搜索策略和初始化方法如何影响MAP近似的质量与收敛速度？
• RQ4 在准确性和效率方面，局部搜索在多大程度上优于现有近似技术？

主要发现

• 与独立近似每个MAP变量或使用MPE作为代理相比，局部搜索显著提高了MAP近似的准确性。
• 该方法的空间和时间复杂度仅指数依赖于树宽，而非受限树宽，因此可扩展至更大规模网络。
• 使用边际MAP变量值进行初始化，相比随机初始化，能实现更快的收敛速度和更优的最终解。
• 采用多次重启的最速上升局部搜索策略，在解的质量上优于首次改进策略。
• 在精确推理不可行的基准网络上，该方法实现了接近最优的MAP近似。