[論文レビュー] Approximating MAP using Local Search

James D. Park, Adnan Darwiche|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用数 45

ひとこと要約

本稿では、ベイジアンネットワークにおける最大後確信度（MAP）推定を近似するための局所探索ベースの手法を提案する。計算複雑性を、より制限の厳しい制約付き木幅に依存するのではなく、木幅にのみ依存するように低減する。この手法は、標準的手法と比較して著しく高いMAP近似精度を達成し、事後分布やMPEを計算するのと同等の空間的・時間的複雑性を有する。

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of variables in a Bayesian network, given evidence. Unlike computing marginals, posteriors, and MPE (a special case of MAP), the time and space complexity of MAP is not only exponential in the network treewidth, but also in a larger parameter known as the "constrained" treewidth. In practice, this means that computing MAP can be orders of magnitude more expensive than computingposteriors or MPE. Thus, practitioners generally avoid MAP computations, resorting instead to approximating them by the most likely value for each MAP variableseparately, or by MPE.We present a method for approximating MAP using local search. This method has space complexity which is exponential onlyin the treewidth, as is the complexity of each search step. We investigate the effectiveness of different local searchmethods and several initialization strategies and compare them to otherapproximation schemes.Experimental results show that local search provides a much more accurate approximation of MAP, while requiring few search steps.Practically, this means that the complexity of local search is often exponential only in treewidth as opposed to the constrained treewidth, making approximating MAP as efficient as other computations.

研究の動機と目的

• ベイジアンネットワークにおける正確なMAP推論の計算コストが、木幅およびより大きなパラメータである制約付き木幅に指数的に依存するという高コスト問題に対処すること。
• 正確な計算の非現実的なコストを回避し、スケーラブルで効率的なMAPの近似手法を開発すること。
• 局所探索戦略および初期化手法の有効性を評価し、MAP近似の精度を向上させること。
• 局所探索が、制約付き木幅ではなく木幅にのみ依存する複雑性でMAP近似を実現できることを示し、他の推論タスクと同等の効率性を達成できること。

提案手法

• この手法は、ベイジアンネットワークの条件付き確率分布から導出されるスコア関数に従って、MAP変数の候補インスタンシエーションを反復的に改善する局所探索を用いる。
• 各探索ステップでは、現在の割り当てのもとでの証拠の対数尤度を計算することで、隣接するインスタンシエーションを評価し、局所的な改善に注目する。
• 探索は、マージナルMAP変数の割り当てやランダム初期化を含む多様な戦略によって初期化され、探索空間の多様な領域を探索する。
• 局所最適解を回避するために、リスタートや多様化を用い、勾配降下法に類似したステップワイズ上昇または最初の改善戦略を効率的に探索空間をナビゲートするために採用する。
• 空間的複雑性は、探索中に局所的なクリークのみを保持するため、制約付き木幅の保存を要する手法とは異なり、ネットワークの木幅に依存する。
• 本手法はベンチマーク用のベイジアンネットワークに対して実装・評価され、マージナル化に基づく近似手法やMPEとの性能比較がなされた。

実験結果

リサーチクエスチョン

• RQ1 標準的なマージナル化やMPEに基づくヒューリスティクスと比較して、局所探索はMAPの近似精度を著しく向上させることができるか？
• RQ2 局所探索の複雑性は、制約付き木幅ではなく木幅にのみ依存するのか？ これにより、大規模ネットワークにおける実用的利用が可能になるか？
• RQ3 異なる局所探索戦略および初期化手法は、MAP近似の品質および収束速度にどのように影響を与えるか？
• RQ4 精度および効率の観点から、既存の近似手法に比べて局所探索はどの程度優れているか？

主な発見

• マージナルMAP変数を個別に近似するか、MPEを代理として用いる標準的手法と比較して、局所探索は著しく高いMAP近似精度を達成する。
• 本手法の空間的・時間的複雑性は、制約付き木幅に依存するのではなく、木幅にのみ依存するため、より大きなネットワークへのスケーラビリティが保証される。
• マージナルMAP変数の値を用いた初期化は、ランダム初期化よりも収束が速く、より優れた最終解が得られる。
• 複数回のリスタートを伴うステップワイズ上昇局所探索は、最初の改善戦略よりも解の品質において優れている。
• 正確な推論が非現実的なベンチマークネットワークにおいて、本手法は近似的に最適なMAP近似を達成している。