[論文レビュー] Maximum A Posteriori Inference in Sum-Product Networks

Jun Mei, Yong Jiang+1 more|arXiv (Cornell University)|Aug 16, 2017

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、和積ネットワーク（SPNs）のための新しい正確かつ近似MAP推論ソルバを提示しており、MAP推論が線形時間で「MAX」と呼ばれるより単純な問題に還元可能であることを示している。提案された正確なソルバは、1,000変数および15万本のアークを含むSPNを10分以内に効率的に処理でき、近似ソルバは実世界のデータセットにおいて、既存の手法を上回る速度-精度のトレードオフを達成している。

ABSTRACT

Sum-product networks (SPNs) are a class of probabilistic graphical models that allow tractable marginal inference. However, the maximum a posteriori (MAP) inference in SPNs is NP-hard. We investigate MAP inference in SPNs from both theoretical and algorithmic perspectives. For the theoretical part, we reduce general MAP inference to its special case without evidence and hidden variables; we also show that it is NP-hard to approximate the MAP problem to $2^{n^ε}$ for fixed $0 \leq ε< 1$, where $n$ is the input size. For the algorithmic part, we first present an exact MAP solver that runs reasonably fast and could handle SPNs with up to 1k variables and 150k arcs in our experiments. We then present a new approximate MAP solver with a good balance between speed and accuracy, and our comprehensive experiments on real-world datasets show that it has better overall performance than existing approximate solvers.

研究の動機と目的

• 自然言語処理やコンピュータビジョンなどの分野で広く応用されている一方で、SPNにおける効率的なMAP推論手法の不足に対処すること。
• 任意の固定された 0 ≤ ϵ < 1 に対して、MAPを 2^n^ϵ 要因以内に近似することはNP困難であることを理論的に確立すること。
• Pruning、ヒューリスティクス、最適化技術を用いて、大規模なSPNを効率的に処理できる正確なMAPソルバを開発すること。
• 上位K個のパースツリー探索に基づく近似MAPソルバを設計し、速度と精度のバランスを向上させること。
• 実世界のデータセットを用いた実験を通じて、両方のソルバの性能を実証的に検証し、既存の手法を上回ることを示すこと。

提案手法

• 一般化されたMAP推論を、証拠や隠れ変数のない特殊ケースである「MAX」に線形時間変換によって還元する。
• 正確な推論中にマージナル確率を計算するためにネットワーク多項式およびその微分を用い、正確なソルバにおける効率的なPruningを可能にする。
• 探索空間を削減するため、Pruning、ヒューリスティック選択、最適化技術を用いた全探索に基づく正確なMAPソルバを実装する。
• 上位K個のパースツリーを特定することで、近似MAPソルバを開発し、高い確率の変数割り当てを優先する。
• 両方のソルバの高速化に、Pruningやキャッシュなどの最適化技術を適用する。
• 実験では、正確なソルバに10分、近似ソルバに50分の時間予算を設定し、時間制限に達した場合に終了する。

実験結果

リサーチクエスチョン

• RQ1 SPNにおける一般化されたMAP推論は、証拠や隠れ変数のないより単純な問題に還元可能か？
• RQ2 任意の固定された 0 ≤ ϵ < 1 に対して、MAP推論を 2^n^ϵ 要因以内に近似することはNP困難か？
• RQ3 1,000変数および15万本のアークを含むSPNを効率的に処理できる正確なMAPソルバを設計可能か？
• RQ4 既存の手法よりも優れた速度-精度のバランスを実現する近似MAPソルバを開発可能か？
• RQ5 提案された近似ソルバは、実世界のデータセットにおいて、速度および解の品質の両面で既存のソルバを上回るか？

主な発見

• 本稿では、任意の固定された 0 ≤ ϵ < 1 に対して、SPNにおけるMAP推論が 2^n^ϵ 要因以内に近似可能であることはNP困難であることを証明しており、近似の理論的限界を強く示している。
• 正確なMAPソルバは、実世界のデータセットにおいて、1,000変数および150,000本のアークを含むSPNを10分以内に正常に処理できた。
• 上位K個のパースツリーに基づく近似ソルバは、速度と精度の両面で、既存の近似手法を上回る総合的なパフォーマンスを達成した。
• '20 Newsgroup'データセットでは、AMAPソルバが50分以内に終了しなかったため、大規模なMAP推論の計算的困難さが浮き彫りになった。
• 図5の勝利回数は、提案された近似ソルバ（FC+O+S）が、'MSWeb'および'Book'を含む多数のデータセットで、他のすべてのソルバを上回っていることを示しており、'MSWeb'と'Book'でそれぞれ1,000勝を記録した。
• 正確なソルバの実行時間は、'Book'、'EachMovie'、'WebKB'を除くすべてのデータセットで、10分の時間制限を大幅に下回っていたが、これらの3つのデータセットでは一部のインスタンスで時間制限に達した。