[論文レビュー] Efficient Enumeration of Instantiations in Bayesian Networks

Sampath Srinivas, Pandurang Nayak|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用数 6

ひとこと要約

本稿では、尤度の降順にベイジアンネットワークのインスタンスを段階的に列挙する効率的なアルゴリズムを提示する。すべてのインスタンスのソート済みリストに対する遅延列挙を活用することで、単一接続ネットワークでは多項式時間で生成が可能となり、条件付き確率を用いた拡張により一般のネットワークに対しても適用可能であり、実験的評価を通じて実用的な効率性が示された。

ABSTRACT

Over the past several years Bayesian networks have been applied to a wide variety of problems. A central problem in applying Bayesian networks is that of finding one or more of the most probable instantiations of a network. In this paper we develop an efficient algorithm that incrementally enumerates the instantiations of a Bayesian network in decreasing order of probability. Such enumeration algorithms are applicable in a variety of applications ranging from medical expert systems to model-based diagnosis. Fundamentally, our algorithm is simply performing a lazy enumeration of the sorted list of all instantiations of the network. This insight leads to a very concise algorithm statement which is both easily understood and implemented. We show that for singly connected networks, our algorithm generates the next instantiation in time polynomial in the size of the network. The algorithm extends to arbitrary Bayesian networks using standard conditioning techniques. We empirically evaluate the enumeration algorithm and demonstrate its practicality.

研究の動機と目的

• ベイジアンネットワークにおける1つ以上の尤度の高いインスタンスを特定する課題に対処すること。
• 尤度の降順にすべてのインスタンスを列挙する実用的で効率的なアルゴリズムを開発すること。
• 順序付きインスタンスリストを必要とする医療エキスパートシステムやモデルベース診断における応用を可能にすること。
• 単一接続ネットワークに対して、証明可能で性能保証のある、簡潔で実装可能なアルゴリズムを提供すること。

提案手法

• アルゴリズムは、ベイジアンネットワークのすべての可能なインスタンスのソート済みリストに対する遅延列挙を実行する。
• 次に最も確率の高い未完成インスタンスを常に保証するように、優先度付きキューを用いて最も尤度の高い部分的インスタンスを維持・拡張する。
• 単一接続ネットワークの場合、次のインスタンスはネットワークサイズに関して多項式時間で計算可能である。
• 複数接続ネットワークに対しても、標準的な変数消去法および条件付き確率の技術を用いて拡張可能である。
• すべてのインスタンスを事前に明示的に生成する必要を避けるために、コンパクトなデータ構造を維持する。
• 中間の確率計算を再利用する動的計画法の原則に依存している。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてベイジアンネットワークのすべてのインスタンスを尤度の降順に効率的に列挙できるか？
• RQ2 単一接続ベイジアンネットワークにおいて、k番目に尤度の高いインスタンスを生成する際の計算量の複雑さは何か？
• RQ3 指数的爆発を伴わずに、一般（複数接続）のベイジアンネットワークに対してもアルゴリズムはスケーラブルか？
• RQ4 診断やエキスパートシステムなどの実世界の応用において、アルゴリズムの実用的性能はいかがなものか？
• RQ5 時間的・空間的効率の観点から、遅延列挙戦略は、明示的列挙やサンプリングベースの手法と比べてどのように差がつくか？

主な発見

• 単一接続ベイジアンネットワークでは、ネットワークサイズに関して多項式時間で次のインスタンスが生成可能である。
• 標準的な条件付き確率技術を用いることで、任意のベイジアンネットワークに拡張可能であり、効率性を維持する。
• 実験的評価により、実世界のベイジアンネットワークインスタンスにおいて、アルゴリズムの実用性と効率性が確認された。
• 遅延列挙アプローチにより、すべてのインスタンスを事前に計算・保存する必要がなく、メモリのオーバーヘッドが削減された。
• アルゴリズムは理解・実装が簡単であり、エキスパートシステムや診断ツールへの統合に適している。
• 全列挙を伴わずに、尤度の高いインスタンスの順序付けと取得において高いパフォーマンスを達成している。