[論文レビュー] Approximation Complexity of Maximum A Posteriori Inference in Sum-Product Networks

Diarmaid Conaty, Denis Deratani Mauá+1 more|arXiv (Cornell University)|Mar 17, 2017

Bayesian Modeling and Causal Inference参考文献 24被引用数 10

ひとこと要約

本稿は、和積ネットワーク（SPN）における最大後確信度（MAP）推論の近似複雑性を確立し、高さ2のSPNではMAP推論が部分線形要因内で近似可能でないことが示され、一方で多項式時間アルゴリズムが線形近似要因を達成することを証明している。高さ3以上の場合、任意の$2^{f(n)}$要因内で近似可能でないことがNP困難であることが示され、また最大積（max-product）アルゴリズムは$c<1$の$2^{c\cdot n}$の近似を達成する。提案された修正アルゴリズムは、特に浅いネットワークにおいてmax-productを上回る性能を示している。

ABSTRACT

We discuss the computational complexity of approximating maximum a posteriori inference in sum-product networks. We first show NP-hardness in trees of height two by a reduction from maximum independent set; this implies non-approximability within a sublinear factor. We show that this is a tight bound, as we can find an approximation within a linear factor in networks of height two. We then show that, in trees of height three, it is NP-hard to approximate the problem within a factor $2^{f(n)}$ for any sublinear function $f$ of the size of the input $n$. Again, this bound is tight, as we prove that the usual max-product algorithm finds (in any network) approximations within factor $2^{c \cdot n}$ for some constant $c &lt; 1$. Last, we present a simple algorithm, and show that it provably produces solutions at least as good as, and potentially much better than, the max-product algorithm. We empirically analyze the proposed algorithm against max-product using synthetic and realistic networks.

研究の動機と目的

• 最大後確信度（MAP）推論の近似の計算複雑性を、和積ネットワーク（SPN）において確立すること。
• さまざまな高さのSPNにおけるMAP推論の、最もタイトな近似境界を特定すること。
• 標準のmax-productアルゴリズムを改善する修正アルゴリズムの開発と評価。
• 提案されたアルゴリズムの、合成SPNおよびUCIデータセットから学習された実世界SPNにおける性能評価。

提案手法

• 最大独立集合問題への還元を用いて、高さ2のSPNにおけるMAP推論のNP困難性を証明する。
• 高さ2のSPNにおいて、部分線形要因内で近似可能でないことを示し、多項式時間線形近似アルゴリズムによりこの境界がタイトであることを実証する。
• 高さ3のSPNに対し、部分線形関数$f(n)$に対して任意の$2^{f(n)}$要因内で近似可能でないことがNP困難であることを拡張する。
• 標準のmax-productアルゴリズムが、ある定数$c<1$に対して$2^{c\cdot n}$の近似を達成することを示し、タイトな上界を確立する。
• max-productの和から最大値への演算を、より情報に基づいた選択戦略に置き換える修正アルゴリズムを提案し、その解がmax-productの解よりも悪くならないことを保証する。
• 合成SPN（最大独立集合問題を符号化）およびUCIデータセットから学習された深層SPNに対して、提案アルゴリズムとmax-productの両者を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 高さ2のSPNにおけるMAP推論の近似複雑性は何か？
• RQ2 最大独立集合問題からの直接的還元を用いて、SPNにおけるMAP推論のNP困難性を示せるか？
• RQ3 高さ3以上のSPNにおけるMAP推論の、最もタイトな近似境界は何か？
• RQ4 合成および実世界SPNにおいて、提案された修正アルゴリズムの解の質はmax-productと比べてどの程度優れているか？
• RQ5 証拠の存在が、SPNにおけるMAP推論の近似複雑性に顕著な影響を与えるか？

主な発見

• 高さ2のSPNにおけるMAP推論は、入力サイズの部分線形要因内で近似可能でないことがNP困難であり、この境界はタイトである。多項式時間アルゴリズムが線形近似要因を達成するためである。
• 高さ3以上のSPNでは、部分線形関数$f(n)$に対して任意の$2^{f(n)}$要因内で近似可能でないことがNP困難であり、この境界はタイトである。max-productアルゴリズムが、ある$c<1$に対して$2^{c\cdot n}$の近似を保証するためである。
• 提案された修正アルゴリズム（argmax-product）は、max-productの解よりも悪くならないだけでなく、特に浅いネットワークにおいて顕著に優れた解を生成する。
• 最大独立集合問題を符号化した合成SPNに対する実験的評価では、argmax-productが一貫してmax-productを上回り、解の質において顕著な改善が得られた。
• 実世界UCIデータセットから学習された深層SPNにおいては、argmax-productの改善は顕著ではないが、依然として無視できない。50%の証拠を含むテストケースにおいて、解の確率比の平均は1.12、標準偏差は0.17であった。
• 証拠の存在は、近似複雑性に顕著な影響を及ぼさない。両アルゴリズム間の性能差は、さまざまな証拠設定において安定している。