[論文レビュー] Exact Inference in Networks with Discrete Children of Continuous Parents

Uri Lerner, Eran Segal+1 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 66

ひとこと要約

本稿では、連続親を持つ離散子を持つハイブリッドベイジアンネットワークに対する最初の正確な推論アルゴリズムを提示する。Lauritzenのクリークツリー・アルゴリズムを拡張し、離散ノードが連続親に依存する条件付き線形ガウスモデルを扱えるようにする。数値積分を用いて離散変数の正確な分布と連続変数の正確な一次および二次モーメントを計算し、特にソフトマックスCPDを用いる場合、従来の近似手法よりも高い精度を達成する。

ABSTRACT

Many real life domains contain a mixture of discrete and continuous variables and can be modeled as hybrid Bayesian Networks. Animportant subclass of hybrid BNs are conditional linear Gaussian (CLG) networks, where the conditional distribution of the continuous variables given an assignment to the discrete variables is a multivariate Gaussian. Lauritzen's extension to the clique tree algorithm can be used for exact inference in CLG networks. However, many domains also include discrete variables that depend on continuous ones, and CLG networks do not allow such dependencies to berepresented. No exact inference algorithm has been proposed for these enhanced CLG networks. In this paper, we generalize Lauritzen's algorithm, providing the first "exact" inference algorithm for augmented CLG networks - networks where continuous nodes are conditional linear Gaussians but that also allow discrete children ofcontinuous parents. Our algorithm is exact in the sense that it computes the exact distributions over the discrete nodes, and the exact first and second moments of the continuous ones, up to the accuracy obtained by numerical integration used within thealgorithm. When the discrete children are modeled with softmax CPDs (as is the case in many real world domains) the approximation of the continuous distributions using the first two moments is particularly accurate. Our algorithm is simple to implement and often comparable in its complexity to Lauritzen's algorithm. We show empirically that it achieves substantially higher accuracy than previous approximate algorithms.

研究の動機と目的

• 離散変数が連続親に依存するハイブリッドベイジアンネットワークにおける正確な推論アルゴリズムの欠如に対処すること。
• Lauritzenのクライクツリー・アルゴリズムを、離散親を持つ連続親に依存する条件付き線形ガウスモデルをサポートするように拡張すること。
• このようなネットワークにおける離散ノードの分布および連続ノードのモーメントの正確な計算を可能にすること。
• 実世界の分野におけるソフトマックスCPDを有する場合に、既存の近似推論手法よりも精度を向上させること。

提案手法

• 離散子を持つハイブリッド条件付き線形ガウスネットワークを扱えるように、Lauritzenのクライクツリー・アルゴリズムを拡張する。
• 連続親を条件とする離散ノードの正確な条件付き分布を、数値積分を用いて計算する。
• 統合に基づく周辺化により、連続変数の正確な一次および二次モーメントを維持する。
• ネットワーク内の条件付き独立構造を保つ要因分解戦略を採用する。
• 実世界の応用で一般的なソフトマックスCPDをサポートする。
• 計算の実行可能性を維持するために、クライクツリー枠組み内に数値台形積分を統合する。

実験結果

リサーチクエスチョン

• RQ1 離散ノードが連続親を持つハイブリッドベイジアンネットワークにおいて、正確な推論が可能か？
• RQ2 正確性を保ちつつ、クライクツリー・アルゴリズムを、離散子を持つ連続親に依存するノードを扱えるようにどのように変更できるか？
• RQ3 数値積分の精度が、このようなネットワークにおける推論の品質に与える影響は何か？
• RQ4 提案手法は、既存の近似推論技術と比較して、どの程度高い精度を示すか？
• RQ5 ソフトマックスCPDの使用が、連続分布の近似品質にどの程度寄与するか？

主な発見

• 提案手法は、離散子を持つハイブリッドベイジアンネットワークにおいて、従来の近似推論手法よりも顕著に高い精度を達成する。
• クライクツリー枠組み内での数値積分を用いることで、離散ノードの分布および連続ノードのモーメントの正確な計算が可能である。
• 計算複雑度はLauritzenの元来のアルゴリズムと同等であり、実世界応用において実用的である。
• ソフトマックスCPDが使用される場合、一次および二次モーメントを用いた連続分布の近似が特に正確である。
• 実験結果により、本手法は既存の近似手法よりも分布の精度において優れていることが示された。