[論文レビュー] Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables

Scott Davies, Andrew Moore|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 34被引用数 29

ひとこと要約

この論文は、混合ガウス分布の要因分解混合モデルを用いて連続変数と離散変数の両方を扱うベイジアンネットワークフレームワーク、mix-netsを導入する。これにより、連続変数を離散化せずに、効率的な学習と推論が可能になる。条件付き化によって高速で低次元のガウス混合モデルを組み合わせることで、正確な同時密度推定が達成され、実データおよび合成科学的データセットにおいて優れた性能を示す。

ABSTRACT

Recently developed techniques have made it possible to quickly learn accurate probability density functions from data in low-dimensional continuous space. In particular, mixtures of Gaussians can be fitted to data very quickly using an accelerated EM algorithm that employs multiresolution kd-trees (Moore, 1999). In this paper, we propose a kind of Bayesian networks in which low-dimensional mixtures of Gaussians over different subsets of the domain's variables are combined into a coherent joint probability model over the entire domain. The network is also capable of modeling complex dependencies between discrete variables and continuous variables without requiring discretization of the continuous variables. We present efficient heuristic algorithms for automatically learning these networks from data, and perform comparative experiments illustrated how well these networks model real scientific data and synthetic data. We also briefly discuss some possible improvements to the networks, as well as possible applications.

研究の動機と目的

• 連続変数と離散変数の混合変数を扱うスケーラブルなベイジアンネットワークの学習手法を開発すること。
• 連続変数を離散化せずに正確な同時確率モデリングを可能にすること。
• 高速なガウス混合モデルの学習アルゴリズムを活用し、高次元領域における構造的・パrameter的学習を効率的に行うこと。
• 要因分解混合モデルの条件付き化を通じて、連続変数と離散変数の間の複雑な依存関係をモデル化すること。
• 数十個の変数を含む実科学的および合成データセットにおいて、mix-netsの実現可能性と有効性を示すこと。

提案手法

• 各ノードの条件付き分布が、ノードとその親ノードの要因分解ガウス混合モデルに基づくベイジアンネットワーク構造を提案する。
• 多スケールkdツリーを用いた高速化されたEMアルゴリズムを用いて、データから低次元ガウス混合モデルを迅速に学習する。
• 条件付き化を採用する：P(Xi|πi) = P(Xi,πi)/P(πi)、ここでP(Xi,πi)は学習済みの混合モデル、P(πi)はその周辺分布であり、一貫性のあるグローバルモデリングを可能にする。
• 連続変数はガウス混合モデルにより処理され、容易に周辺化可能で、条件付き再パrameter化が可能である。
• 離散変数はルックアップテーブルまたは、離散および連続変数を同時にモデリングする混合モデルへの拡張により処理される。
• ヒューリスティックな構造学習アルゴリズムを用いて、データから自動的にネットワークを構築し、全探索を回避する。

実験結果

リサーチクエスチョン

• RQ1 要因分解されたガウス混合モデルを効果的に統合し、混合変数を扱うベイジアンネットワークの整合的な同時確率モデルを構築できるか？
• RQ2 離散化を伴わずに、連続変数と離散変数の間の複雑な依存関係をmix-netsがどれほど正確にモデリングできるか？
• RQ3 高速で正確なガウス混合モデルの学習アルゴリズムを、高次元設定におけるベイジアンネットワークのパrameter学習に効率的に適応できるか？
• RQ4 実世界の科学的データセット（混合変数タイプを含む）において、mix-netsの性能はいかがなものか？
• RQ5 単一ガウスモデルやカーネルベースのアプローチと比較して、mix-netsの正確性とスケーラビリティはどの程度か？

主な発見

• mix-netsは、数十個の変数を含む実科学的データセットにおいて、正確な同時密度推定を達成し、強力なモデリング能力を示している。
• この手法により、離散化を伴わず、連続変数と離散変数の間の複雑な依存関係を効果的にモデリングでき、データの忠実性が保たれる。
• 実験の結果、syntheticおよび実データセットの両方において、単一ガウスモデルなどのベースライン手法よりもmix-netsがモデリング精度で優れていることが示された。
• kdツリーを用いた高速化されたEMアルゴリズムの活用により、低次元混合モデルの迅速な学習が可能となり、中程度の次元数の分野へのスケーラビリティが確保された。
• ヒューリスティックな構造学習アルゴリズムは、データから意味のあるネットワーク構造を効果的に同定でき、実用的導入を支援した。
• このフレームワークは拡張可能であり、今後の改善のための変数グループ化、代替パrameter学習アルゴリズム、ハイブリッド離散連続混合モデルのサポートを可能としている。