[論文レビュー] Computational Complexity Reduction for BN2O Networks Using Similarity of States

Alexander V. Kozlov, Jaswinder Singh|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用数 3

ひとこと要約

本稿では、BN2Oネットワークにおける計算複雑性を低減する手法を提案する。この手法は、他のノードの状態割り当てに関わらず、状態間の尤度比が不変であるという状態の類似性を利用している。類似する状態を特定・統合することで、計算時間を最大90%まで短縮し、最大5%の誤差で収まる。これにより、指数関数的に多くの類似状態を有するネットワークにおいても多項式時間での推論が可能になる。

ABSTRACT

Although probabilistic inference in a general Bayesian belief network is an NP-hard problem, computation time for inference can be reduced in most practical cases by exploiting domain knowledge and by making approximations in the knowledge representation. In this paper we introduce the property of similarity of states and a new method for approximate knowledge representation and inference which is based on this property. We define two or more states of a node to be similar when the ratio of their probabilities, the likelihood ratio, does not depend on the instantiations of the other nodes in the network. We show that the similarity of states exposes redundancies in the joint probability distribution which can be exploited to reduce the computation time of probabilistic inference in networks with multiple similar states, and that the computational complexity in the networks with exponentially many similar states might be polynomial. We demonstrate our ideas on the example of a BN2O network -- a two layer network often used in diagnostic problems -- by reducing it to a very close network with multiple similar states. We show that the answers to practical queries converge very fast to the answers obtained with the original network. The maximum error is as low as 5% for models that require only 10% of the computation time needed by the original BN2O model.

研究の動機と目的

• 診断応用で用いられるBN2O構造を含むベイジアンネットワークにおける確率的推論の高コストを軽減すること。
• ネットワークのノードにおける状態の類似性に起因する結合確率分布の冗長性を同定・活用すること。
• 実行時間の大幅な短縮を実現しながらも高い正確性を維持する近似推論手法を開発すること。
• 指数関数的に多くの類似状態を有するネットワークが、本手法により多項式時間での推論複雑性を達成できることを示すこと。
• BN2Oネットワークに対して本手法を検証し、元のモデル結果に近づく速やかな収束と最小限の誤差を示すこと。

提案手法

• ノードの2つ以上の状態間の尤度比が、ネットワーク内他のノードのすべての状態割り当てに対して不変であることを、状態の類似性として定義する。
• 他のノードの証拠に関わらず確率比が一定である類似状態のグループを、BN2Oネットワーク内で同定する。
• 類似状態を1つの代表的状態に統合することで、圧縮されたネットワーク表現を構築し、状態空間を縮小する。
• 類似性の性質を活用して、重複計算を回避しながら圧縮ネットワーク上で確率的推論を実行する。
• 圧縮モデルを用いて実用的な診断クエリに回答し、誤差を元のネットワークに対する相対誤差の範囲に制限する。
• 元のネットワークと圧縮ネットワークの間でクエリ結果と計算時間を比較することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 BN2Oネットワークにおける状態の類似性を形式的に定義し、計算複雑性の低減に活用できるか？
• RQ2 状態の類似性は、推論における計算回数の削減にどの程度寄与できるか？
• RQ3 類似状態に基づく圧縮ネットワークから得られる推論結果の正確性は、元のネットワークと比べてどの程度か？
• RQ4 提案手法における計算効率と近似誤差のトレードオフはいかなるものか？
• RQ5 指数関数的に多くの類似状態を有するネットワークが、本手法により多項式時間での推論が可能になるか？

主な発見

• 本手法により、元のBN2Oモデルの計算時間の10%まで短縮され、最大誤差はわずか5%に抑えられる。
• 類似状態を有する圧縮ネットワークは、元のネットワークが指数関数的に多くの状態を有する場合でも、多項式時間での推論複雑性を達成する。
• 圧縮ネットワーク上で計算された実用的クエリは、元のネットワークの結果に迅速に収束し、良好な近似忠実度を示している。
• 類似状態間の尤度比は、すべての証拠設定において不変であることが確認され、本手法の理論的基盤が裏付けられた。
• 本手法は、診断推論で頻繁に使用されるBN2Oネットワークに対して特に有効であり、状態の類似性に起因する高い冗長性を有することが多い。
• 構造的圧縮により、元では扱いきれない大規模なBN2Oネットワークに対しても、スケーラブルな推論が可能になる。