[論文レビュー] Inference in Hybrid Bayesian Networks Using Mixtures of Gaussians

Prakash P. Shenoy|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 9

ひとこと要約

この論文は、離散変数と連続変数を組み合わせた一般のハイブリッドベイジアンネットワーク（混合正規分布（MoG）に近似することで、正確な推論を可能にする手法を提案する。変数変換技術を用いることで、元来MoGネットワークに限定されていた高速なLauritzen-Jensen（LJ）アルゴリズムを、非ガウス分布の連続変数、非線形な依存関係、条件付き分散を含むより広範なハイブリッドネットワークにも適用可能にする。

ABSTRACT

The main goal of this paper is to describe a method for exact inference in general hybrid Bayesian networks (BNs) (with a mixture of discrete and continuous chance variables). Our method consists of approximating general hybrid Bayesian networks by a mixture of Gaussians (MoG) BNs. There exists a fast algorithm by Lauritzen-Jensen (LJ) for making exact inferences in MoG Bayesian networks, and there exists a commercial implementation of this algorithm. However, this algorithm can only be used for MoG BNs. Some limitations of such networks are as follows. All continuous chance variables must have conditional linear Gaussian distributions, and discrete chance nodes cannot have continuous parents. The methods described in this paper will enable us to use the LJ algorithm for a bigger class of hybrid Bayesian networks. This includes networks with continuous chance nodes with non-Gaussian distributions, networks with no restrictions on the topology of discrete and continuous variables, networks with conditionally deterministic variables that are a nonlinear function of their continuous parents, and networks with continuous chance variables whose variances are functions of their parents.

研究の動機と目的

• 連続変数が線形ガウス分布に制限される既存の正確な推論手法の限界を解消すること。
• 非ガウス分布の連続変数、非線形な条件付き依存関係、条件付き分散を含むネットワークにおける正確な推論を可能にすること。
• 標準的なMoGネットワークでは、離散ノードに連続親ノードを許さないという制限を克服すること。
• 効率的ではあるがMoG構造に限定されるLauritzen-Jensen（LJ）アルゴリズムの適用範囲を、より一般的なハイブリッドネットワーク構造へ拡張すること。
• 商業的実装されたLJアルゴリズムを、より広範な現実世界のハイブリッドベイジアンネットワークに実用的に応用できるフレームワークを提供すること。

提案手法

• 一般のハイブリッドベイジアンネットワークを混合正規分布（MoG）表現で近似することで、正確な推論を可能にする。
• 変数変換と条件付き密度近似を用いて、元のハイブリッドネットワークを等価なMoGネットワークに変換する。
• 得られたMoGネットワークにおける正確な推論にLauritzen-Jensen（LJ）アルゴリズムを活用し、その計算効率を活かす。
• 非ガウス分布の連続変数に対しては、その条件付き分布をガウス成分の混合で近似する。
• 条件付きで決定的となる変数を、連続親変数の非線形関数としてモデル化する際には、MoG近似フレームワークに統合する。
• 親変数に依存する分散をとる連続変数については、その依存関係をMoG構造に埋め込むことで対応する。

実験結果

リサーチクエスチョン

• RQ1 既存の効率的アルゴリズムを用いて、非ガウス分布の連続変数を含むハイブリッドベイジアンネットワークで正確な推論が可能か。
• RQ2 Lauritzen-Jensenアルゴリズムを、連続変数間の非線形な依存関係を含むネットワークへどのように拡張できるか。
• RQ3 離散ノードに連続親ノードを持つ状況を、MoG推論フレームワーク内でどのように処理できるか。
• RQ4 親変数に依存する条件付き分散を、MoG近似内でどの程度正確にモデル化できるか。
• RQ5 一般のハイブリッドベイジアンネットワークを、正確かつ効率的に混合正規分布に近似できるか。

主な発見

• 提案手法により、従来のMoGネットワークの範囲を超えたハイブリッドベイジアンネットワークにおける正確な推論が可能になった。
• 非ガウス分布の条件付き分布をもつ連続変数に対しても、ガウス成分の混合による近似により効果的に処理できた。
• 連続変数間の非線形な条件付き依存関係が、MoG近似フレームワークを介して効果的にモデル化された。
• 標準的なMoGネットワークでは非対応であるが、離散ノードに連続親ノードを持つ構造も本手法で扱えるようになった。
• 親変数に依存する分散をとる連続変数も、MoG構造に組み込むことでモデルの忠実性を保ったまま統合可能となった。
• 変換されたMoGネットワーク上でLauritzen-Jensenアルゴリズムを適用することで、計算効率と正確な推論結果の両立が達成された。