[论文解读] Approximation Complexity of Maximum A Posteriori Inference in Sum-Product Networks

Diarmaid Conaty, Denis Deratani Mauá+1 more|arXiv (Cornell University)|Mar 17, 2017

Bayesian Modeling and Causal Inference参考文献 24被引用 10

一句话总结

本文建立了在和积网络（SPNs）中最大后验（MAP）推理的近似复杂度，证明在高度为2的SPNs中，MAP推理近似是NP难的，且无法在子线性因子内近似，但存在一个多项式时间算法可实现线性近似因子。对于高度为3或更高的SPNs，无法在任何$2^{f(n)}$因子内近似，其中$f(n)$为子线性函数，且最大乘积算法可提供$2^{c\cdot n}$的近似因子（$c<1$）。本文提出一种改进算法，在实践中表现优于最大乘积算法，尤其在浅层网络中表现更优。

ABSTRACT

We discuss the computational complexity of approximating maximum a posteriori inference in sum-product networks. We first show NP-hardness in trees of height two by a reduction from maximum independent set; this implies non-approximability within a sublinear factor. We show that this is a tight bound, as we can find an approximation within a linear factor in networks of height two. We then show that, in trees of height three, it is NP-hard to approximate the problem within a factor $2^{f(n)}$ for any sublinear function $f$ of the size of the input $n$. Again, this bound is tight, as we prove that the usual max-product algorithm finds (in any network) approximations within factor $2^{c \cdot n}$ for some constant $c &lt; 1$. Last, we present a simple algorithm, and show that it provably produces solutions at least as good as, and potentially much better than, the max-product algorithm. We empirically analyze the proposed algorithm against max-product using synthetic and realistic networks.

研究动机与目标

• 建立在和积网络（SPNs）中近似最大后验（MAP）推理的计算复杂度。
• 确定不同高度SPNs中MAP推理的最紧可能近似界。
• 开发并评估一种改进算法，以在MAP推理中超越标准最大乘积算法。
• 在从UCI数据集学习得到的合成SPNs和真实SPNs上，评估所提算法的性能。

提出的方法

• 通过从最大独立集问题的归约，证明高度为2的SPNs中MAP推理的NP难性。
• 在高度为2的SPNs中证明无法在任何子线性因子内近似，并通过一个多项式时间线性近似算法证明该界是紧的。
• 将困难性结果扩展至高度为3的SPNs，证明在任何$2^{f(n)}$因子内近似MAP推理是NP难的，其中$f(n)$为子线性函数。
• 表明标准最大乘积算法可实现$2^{c\cdot n}$的近似因子（$c<1$），从而确立了紧的上界。
• 提出一种改进算法，用更具信息量的选择策略替代最大乘积算法中的求和到最大值操作，确保解的质量至少不差于最大乘积算法。
• 在编码最大独立集实例的合成SPNs以及使用LearnSPN从UCI数据集学习得到的更深层SPNs上，对所提算法与最大乘积算法进行实证评估。

实验结果

研究问题

• RQ1 高度为2的SPNs中MAP推理的近似复杂度是什么？
• RQ2 能否通过从最大独立集问题的直接归约，证明SPNs中MAP推理的NP难性？
• RQ3 高度为3或更高的SPNs中MAP推理的最紧可能近似界是什么？
• RQ4 在合成SPNs和真实SPNs中，所提改进算法与最大乘积算法在解质量上的表现如何比较？
• RQ5 证据的存在是否显著影响SPNs中MAP推理的近似复杂度？

主要发现

• 在高度为2的SPNs中，MAP推理无法在任何输入大小的子线性因子内近似，且该界是紧的，因为存在一个多项式时间算法可实现线性近似因子。
• 对于高度为3或更高的SPNs，无法在任何$2^{f(n)}$因子内近似MAP推理，其中$f(n)$为子线性函数，且该界是紧的，因为最大乘积算法可保证$2^{c\cdot n}$的近似因子（$c<1$）。
• 所提出的改进算法（称为argmax-product）产生的解质量从不劣于最大乘积算法，且在浅层网络中可显著更优。
• 在编码最大独立集问题的合成SPNs上的实证评估表明，argmax-product在解质量上始终优于最大乘积算法，且提升显著。
• 在从真实世界UCI数据集学习得到的深层SPNs上，argmax-product相对于最大乘积算法的改进虽不显著，但依然不可忽视，所有测试案例中证据占比50%时，解概率的平均比值为1.12，标准差为0.17。
• 证据的存在并未显著改变近似复杂度，因为两种算法之间的性能差距在不同证据设置下保持稳定。