[論文レビュー] Sensitivities: An Alternative to Conditional Probabilities for Bayesian Belief Networks

Alexander V. Kozlov, Jaswinder Singh|arXiv (Cornell University)|Feb 20, 2013

Bayesian Modeling and Causal Inference参考文献 12被引用数 3

ひとこと要約

本稿では、ベイジアン信念ネットワークの表現の代替手段として感度を導入し、より直感的で計算効率の良い方法を提示する。QR行列表現を提案することでメモリ使用量と計算時間を削減し、特定の二値ネットワークにおいては誤差バウンドを固定した場合に近似推論時間がネットワークサイズに依存しないことを示している。

ABSTRACT

We show an alternative way of representing a Bayesian belief network by sensitivities and probability distributions. This representation is equivalent to the traditional representation by conditional probabilities, but makes dependencies between nodes apparent and intuitively easy to understand. We also propose a QR matrix representation for the sensitivities and/or conditional probabilities which is more efficient, in both memory requirements and computational speed, than the traditional representation for computer-based implementations of probabilistic inference. We use sensitivities to show that for a certain class of binary networks, the computation time for approximate probabilistic inference with any positive upper bound on the error of the result is independent of the size of the network. Finally, as an alternative to traditional algorithms that use conditional probabilities, we describe an exact algorithm for probabilistic inference that uses the QR-representation for sensitivities and updates probability distributions of nodes in a network according to messages from the neighbors.

研究の動機と目的

• 従来の条件付き確率よりも直感的で計算的に効率的なベイジアン信念ネットワークの表現を開発すること。
• 大規模ネットワークにおける標準的確率的推論の複雑さと非効率性を解消すること。
• 固定された誤差バウンドのもとで、近似確率的推論の推論時間がネットワークサイズに依存しないことを示すこと。
• メモリおよび計算効率を向上させるQR行列表現を提案すること。
• 感度メッセージと隣接ノード更新に基づく正確な推論アルゴリズムを提示すること。

提案手法

• 依存関係をより明確にするために、条件付き確率の代わりに感度を用いてベイジアンネットワークを表現すること。
• 感度と条件付き確率を表現するためのQR行列分解を用い、ストレージと速度の両方の効率を向上させること。
• QR表現を用いて隣接ノードのメッセージに基づきノードの確率を更新するメッセージパッシング推論アルゴリズムを設計すること。
• 感度と条件付き確率の関係を形式化し、ネットワーク表現における同等性を保証すること。
• 計算複雑性とスケーラビリティを分析するために、QR表現を二値ネットワークに適用すること。
• 数学的解析を用いて、誤差バウンドを固定した場合に近似推論時間がネットワークサイズにかかわらず一定であることを証明すること。

実験結果

リサーチクエスチョン

• RQ1 感度は、ベイジアンネットワークにおける条件付き確率のより直感的で効果的な代替手段となり得るか？
• RQ2 QR行列表現は、確率的推論におけるメモリ使用量と計算時間を顕著に削減するか？
• RQ3 正の誤差バウンドを維持した場合、近似推論の計算時間がネットワークサイズに依存しないか？
• RQ4 感度に基づくメッセージパッシングとQR表現を用いて正確な推論アルゴリズムを構築できるか？
• RQ5 感度は、ベイジアンネットワークにおける依存関係の解釈可能性をどのように向上させるか？

主な発見

• 感度に基づく表現は、条件付き確率よりもノード間の依存関係が明確になり、解釈が容易になる。
• QR行列表現は、従来の方法と比較して、メモリ使用量と計算時間の両方を削減する。
• 特定の二値ベイジアンネットワークのクラスにおいては、誤差バウンドを固定した場合に近似推論時間がネットワークサイズに依存しない。
• 感度メッセージとQR表現に基づく正確な推論アルゴリズムが成功裏に開発され、記述された。
• 感度に基づく表現と条件付き確率に基づく表現の同等性が数学的に確立された。
• 提案手法は、特に大規模ベイジアンネットワークにおいて、効率的でスケーラブルな推論を可能にする。