[论文解读] Maximum A Posteriori Inference in Sum-Product Networks

Jun Mei, Yong Jiang+1 more|arXiv (Cornell University)|Aug 16, 2017

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出了一种新颖的精确与近似MAP推理求解器，用于Sum-Product Networks (SPNs)，证明了MAP推理可在O(n)时间内简化为一个更简单的问题，称为MAX。所提出的精确求解器在十分钟内高效处理了包含多达1,000个变量和150k条边的SPN，而近似求解器在真实世界数据集上实现了更优的速度-精度权衡，优于现有方法。

ABSTRACT

Sum-product networks (SPNs) are a class of probabilistic graphical models that allow tractable marginal inference. However, the maximum a posteriori (MAP) inference in SPNs is NP-hard. We investigate MAP inference in SPNs from both theoretical and algorithmic perspectives. For the theoretical part, we reduce general MAP inference to its special case without evidence and hidden variables; we also show that it is NP-hard to approximate the MAP problem to $2^{n^ε}$ for fixed $0 \leq ε< 1$, where $n$ is the input size. For the algorithmic part, we first present an exact MAP solver that runs reasonably fast and could handle SPNs with up to 1k variables and 150k arcs in our experiments. We then present a new approximate MAP solver with a good balance between speed and accuracy, and our comprehensive experiments on real-world datasets show that it has better overall performance than existing approximate solvers.

研究动机与目标

• 为解决尽管SPNs在自然语言处理和计算机视觉等应用中广泛应用，但其MAP推理方法仍缺乏效率的问题。
• 从理论上证明，将MAP近似到2^n^ϵ以内（对任意固定的0 ≤ ϵ < 1）是NP难的。
• 设计一种精确MAP求解器，通过剪枝、启发式方法和优化技术高效处理大规模SPN。
• 基于top-K解析树探索设计一种近似MAP求解器，以实现更好的速度-精度平衡。
• 在真实世界数据集上实证验证两种求解器，证明其性能优于现有方法。

提出的方法

• 通过线性时间变换，将一般MAP推理归约为一种无证据或隐变量的特殊情况，称为MAX。
• 利用网络多项式及其导数在精确推理中计算边际概率，从而在精确求解器中实现高效剪枝。
• 通过穷举搜索结合剪枝、启发式选择和优化技术，实现精确MAP求解器，以缩小搜索空间。
• 通过寻找SPN的top-K解析树来开发近似MAP求解器，优先考虑高概率的变量赋值。
• 应用剪枝和缓存等优化技术，以加速精确与近似求解器的运行。
• 实验中，精确求解器设置10分钟时间预算，近似求解器设置50分钟时间预算，若在时间限制内未输出则终止。

实验结果

研究问题

• RQ1 能否在不引入证据或隐变量的情况下，将SPNs中的一般MAP推理归约为一个更简单的问题？
• RQ2 对于任意固定的0 ≤ ϵ < 1，将MAP推理近似到2^n^ϵ以内是否为NP难问题？
• RQ3 能否设计一种精确MAP求解器，以高效处理包含多达1,000个变量和150k条边的SPN？
• RQ4 能否开发一种近似MAP求解器，使其在速度与精度之间的平衡优于现有方法？
• RQ5 所提出的近似求解器在真实世界数据集上是否在速度和解质量方面均优于现有求解器？

主要发现

• 本文证明，SPNs中MAP推理近似到2^n^ϵ以内（对任意固定的0 ≤ ϵ < 1）是NP难的，表明近似存在强烈的理论限制。
• 精确MAP求解器在真实世界数据集上，10分钟内成功处理了包含多达1,000个变量和150,000条边的SPN。
• 基于top-K解析树的近似求解器在速度与精度方面整体性能优于现有近似方法。
• 在'20 Newsgroup'数据集上，AMAP求解器在50分钟内未能终止，凸显了大规模MAP推理的计算挑战。
• 图5中的胜场统计显示，所提出的近似求解器（FC+O+S）在大多数数据集上优于所有其他求解器，包括在'MSWeb'和'Book'数据集中分别获得1000场胜利。
• 精确求解器在除'Book'、'EachMovie'和'WebKB'外的所有数据集上运行时间均远低于10分钟的限制；在'Book'、'EachMovie'和'WebKB'中，部分实例达到了时间限制。