[論文レビュー] A Multivariate Discretization Method for Learning Bayesian Networks from Mixed Data

Stefano Monti, Gregory F. Cooper|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 63

ひとこと要約

本稿では、連続変数と離散変数を含む混合データからベイジアンネットワークを学習するための多次元離散化手法を提案する。離散化の閾値は、変数間の相互作用を考慮したベイジアンスコアメトリクスを用いて動的に最適化される。この手法は、現在のネットワーク構造に合わせて離散化を適応させるため、ベンチマークデータセットにおける実験的評価で一変量手法を上回る構造学習の正確性を向上させる。

ABSTRACT

In this paper we address the problem of discretization in the context of learning Bayesian networks (BNs) from data containing both continuous and discrete variables. We describe a new technique for <em>multivariate</em> discretization, whereby each continuous variable is discretized while taking into account its interaction with the other variables. The technique is based on the use of a Bayesian scoring metric that scores the discretization policy for a continuous variable given a BN structure and the observed data. Since the metric is relative to the BN structure currently being evaluated, the discretization of a variable needs to be dynamically adjusted as the BN structure changes.

研究の動機と目的

• 連続変数の離散化の課題に取り組むこと。特に、一変量手法では変数間の依存関係を捉えられないこと。
• 構造学習の過程で変化するベイジアンネットワーク構造に適応する動的離散化技術を開発すること。
• 離散化プロセスに多次元的相互作用を組み込むことで、ベイジアンネットワーク構造学習の正確性を向上させること。
• 現在のネットワーク構造に基づいて離散化方針を評価するスコアベースのフレームワークを提供すること。
• 実世界および合成データセットにおいて、多次元離散化が一変量手法を上回ることを示すこと。

提案手法

• 各連続変数の離散化方針を評価するために、他の変数との同時関係を考慮したベイジアンスコアメトリクスを用いる。
• 与えられたネットワーク構造と観測データに対して、ベイジアンスコアを最大化することで、離散化閾値を反復的に最適化する。
• 構造学習の過程でネットワーク構造が変化するにつれて、離散化を動的に調整し、現在のモデル仮定と整合性を保つ。
• 離散化を事前処理ステップとして扱うのでなく、構造学習プロセスの一部として扱う。
• 最適な連続変数の分割を求めるために、可能な離散化設定のグリーディサーチを実施する。
• ベイジアンスコアはデータ尤度とモデルの複雑さを組み合わせており、過剰適合を避ける一方で適合度を向上させる離散化を好む。

実験結果

リサーチクエスチョン

• RQ1 連続変数間の多次元的相互作用をどのように活用して、ベイジアンネットワーク学習における離散化を改善できるか？
• RQ2 構造に配慮した動的離散化は、静的で一変量の手法と比較して、どの程度ベイジアンネットワーク構造学習の正確性を向上させるか？
• RQ3 離散化を学習プロセスに統合するスコアベースのアプローチは、混合データ問題においてより優れた性能を発揮できるか？
• RQ4 提案手法は、離散化閾値やネットワーク構造の選択にどの程度感受性を示すか？
• RQ5 多次元的離散化は、学習されたベイジアンネットワークの尤度にどのような影響を与えるか？

主な発見

• 提案された多次元離散化手法は、一変量離散化と比較して、混合データのベンチマークにおいて、ベイジアンネットワーク構造学習の正確性を顕著に向上させる。
• 構造学習の過程で離散化閾値を動的に調整することで、ベイジアン情報基準（BIC）で測定したスコアの高いモデルが得られる。
• 合成データおよび実世界のデータセットの両方で、変数間に強い依存関係が存在する場合に特に優れた性能を発揮する。
• 構造依存のスコアメトリクスを用いることで、離散化選択が進化するネットワーク構造と整合するようになり、モデルバイアスが低減される。
• 実験的結果から、多次元離散化は一変量手法と比較して過剰適合を低減し、一般化性能を向上させていることが示された。
• 異なるデータ分布や変数相関パターンの下でも、本手法は頑健であることが示された。