[論文レビュー] MAP Complexity Results and Approximation Methods

James D. Park|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 97

ひとこと要約

この論文は、ベイジアンネットワークにおけるMAP（最大後確信度）問題が、多木構造ですらNP完全であることを確立しており、MPE や Pr といったより簡単な問題が tractable である場合でも、依然として困難であることを示している。これを解決するために、局所探索と信念縮約を組み合わせた汎用的近似フレームワークを提案する。このフレームワークにより、正確な推論が不可能な複雑なネットワークにおいても、高精度なMAP推定が可能となり、実験結果では困難なインスタンスにおいて優れた性能を示している。

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of nvariables in a Bayesian network, given some evidence. MAP appears to be a significantly harder problem than the related problems of computing the probability of evidence Pr, or MPE a special case of MAP. Because of the complexity of MAP, and the lack of viable algorithms to approximate it,MAP computations are generally avoided by practitioners. This paper investigates the complexity of MAP. We show that MAP is complete for NP. We also provide negative complexity results for elimination based algorithms. It turns out that MAP remains hard even when MPE, and Pr are easy. We show that MAP is NPcomplete when the networks are restricted to polytrees, and even then can not be effectively approximated. Because there is no approximation algorithm with guaranteed results, we investigate best effort approximations. We introduce a generic MAP approximation framework. As one instantiation of it, we implement local search coupled with belief propagation BP to approximate MAP. We show how to extract approximate evidence retraction information from belief propagation which allows us to perform efficient local search. This allows MAP approximation even on networks that are too complex to even exactly solve the easier problems of computing Pr or MPE. Experimental results indicate that using BP and local search provides accurate MAP estimates in many cases.

研究の動機と目的

• ベイジアンネットワークにおけるMAP問題の計算複雑性を形式的に確立すること。
• MPE や Pr が多項式時間で計算可能であっても、MAP が依然としてNP困難であることを示すこと。
• 正確な推論が不可能なほど複雑なネットワークに対しても適用可能な実用的な近似フレームワークを構築すること。
• 証拠の再帰的処理に信念縮約を用い、局所探索を駆動することで、効率的なMAP推定を可能にすること。
• 提案された近似手法の正確性とスケーラビリティを、実世界および合成されたベイジアンネットワーク上で評価すること。

提案手法

• 既知のNP完全問題への還元を用いて、MAP が多木構造のネットワークでさえもNP完全であることを証明する。
• MAP に対する消去ベースのアルゴリズムの限界を分析し、それらが複雑性を低下させないことを示す。
• 局所探索と信念縮約を組み合わせた汎用的MAP近似フレームワークを提案する。
• 信念縮約を用いて近似的な証拠の再帰的処理情報を抽出し、変数の割り当てに対する効率的な局所探索を可能にする。
• BPから得られる推定値を用いて、局所探索によって反復的に候補解を改善するハイブリッドアルゴリズムを実装する。
• MPE や Pr の計算ですら不可能なネットワークに対しても、フレームワークを適用し、スケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 MAP 問題は、多木のような制限されたネットワーク構造に対してもNP完全であるか？
• RQ2 正確な推論が不可能な場合に、MAP は効果的に近似可能か？
• RQ3 信念縮約から得られる推定値は、MAP の局所探索の効率性と正確性を向上させるか？
• RQ4 提案されたフレームワークは、MPE や Pr は計算可能だが MAP は計算不能なネットワークに対しても対応可能か？
• RQ5 BPと局所探索の統合手法によって得られるMAP推定値の正確性はどの程度か？

主な発見

• MAP が多木構造のベイジアンネットワークですらNP完全であることが証明された。
• MPE や Pr が多項式時間で計算可能であっても、MAP は依然として困難である。
• MAP に対して保証された近似境界を持つアルゴリズムは存在せず、結果として最善の努力を要する。
• 提案されたBP-局所探索フレームワークにより、正確な推論が不可能なほど複雑なネットワークに対しても、高精度なMAP推定が可能となった。
• 信念縮約は、有用な証拠再帰的処理の情報を提供し、局所探索の効率を顕著に向上させた。
• 実験結果では、この手法が標準的な推論が失敗するような多くのテストケースにおいても、正確なMAP推定を達成していることが示された。