[論文レビュー] Learning Discrete Bayesian Networks from Continuous Data

Yi‐Chun Chen, Tim A. Wheeler+1 more|arXiv (Cornell University)|Dec 8, 2015

Bayesian Modeling and Causal Inference参考文献 24被引用数 9

ひとこと要約

本稿では、連続データから離散ベイジアンネットワークを学習するための原理的でベイジアンな離散化手法を提案する。この手法は、従来の最小記述長（MDL）手法の立方時間計算量を改善した、O(n²)の動的計画法に基づくものである。本手法は、同時にネットワーク構造と最適な離散化閾値を学習し、Auto MPG や Iris といったベンチマークデータセットで尤度と精度の両面で優れた性能を発揮する。特に、周辺分布に基づく手法が失敗する構造に依存する状況でも顕著な性能向上を示す。

ABSTRACT

Learning Bayesian networks from raw data can help provide insights into the relationships between variables. While real data often contains a mixture of discrete and continuous-valued variables, many Bayesian network structure learning algorithms assume all random variables are discrete. Thus, continuous variables are often discretized when learning a Bayesian network. However, the choice of discretization policy has significant impact on the accuracy, speed, and interpretability of the resulting models. This paper introduces a principled Bayesian discretization method for continuous variables in Bayesian networks with quadratic complexity instead of the cubic complexity of other standard techniques. Empirical demonstrations show that the proposed method is superior to the established minimum description length algorithm. In addition, this paper shows how to incorporate existing methods into the structure learning process to discretize all continuous variables and simultaneously learn Bayesian network structures.

研究の動機と目的

• 混合離散-連続データから離散ベイジアンネットワークを学習する課題に取り組むこと。ここでは、連続変数が最適でない方策で離散化されることが一般的である。
• 構造に依存する離散化手法を開発し、構造と離散化閾値を逐次的ではなく、同時に最適化すること。
• 既存のMDLベースの離散化手法の立方時間計算量を改善しつつ、モデルの尤度と予測精度を向上させること。
• 離散化の過程で変数間の依存関係を組み込むことで、周辺分布ベースやヒューリスティックな手法よりも優れた結合確率表現が得られることを示すこと。

提案手法

• 離散化境界の事前分布を用いるベイジアン離散化フレームワークを提案。動的計画法を用いて後験確率を計算し、データ点数nに対してO(n²)の計算量を達成する。
• 離散化を構造学習パイプラインに統合するため、交互最適化ループを採用：まず離散データを用いてネットワーク構造を学習し、次に現在の構造に基づいて離散化閾値を最適化する。
• 離散化エッジに非情報的事前分布を設定し、条件付き依存関係を考慮した尤度モデルを用いて、各候補分割の後験確率を計算する。
• 動的計画法を用いて、各連続変数についてすべての可能な離散化境界の探索を効率的に行い、結合モデルの記述長を最小化する。
• 構造空間と離散化方策の両方を同時に探索するため、可逆移動マルコフ連鎖モンテカルロ（RJ-MCMC）またはグリーディ探索を用いる。
• 合成データおよび実世界のデータセットを用いて手法を検証し、尤度と予測精度を用いてMDLおよび周辺離散化（例：ベイジアンブロック）と比較する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構造内の条件付き依存関係を考慮したベイジアン離散化手法は、周辺分布ベースやMDLベースの手法に比べ、モデルの尤度と精度において優れているか？
• RQ2 構造と離散化の同時学習アプローチは、逐次的または反復的アプローチよりも優れた性能を発揮するか？
• RQ3 最適な離散化の計算量を立方時間から二次時間に低減することは可能か？ その際、モデル品質を維持または向上させられるか？
• RQ4 構造に依存する状況において、本手法はMDLおよび周辺手法に比べ、真の条件付き分布をよりよく捉えられるか？

主な発見

• 提案手法は、Auto MPGデータセットにおいて、MDL（−26.83）と比較して顕著に優れた対数尤度（−25.94）を達成し、より良好な結合モデル適合を示した。
• ネiveベイズ構造を想定したIrisデータセットでは、ベイジアン手法とMDLの両方が同一の離散化境界と94％の予測精度を達成したが、ベイジアン手法は平均対数尤度が高かった（−2.25 vs. −2.50）。
• 条件付き一様分布を持つ合成A→Bネットワークでは、ベイジアン手法が真の離散化境界（1.0）を正しく特定した。一方、周辺手法（例：ベイジアンブロック）は失敗し、より悪い対数尤度（−0.69）を示した。
• 効率的な動的計画法の定式化により、離散化の計算量をO(n³)からO(n²)に低減し、大規模データセットでも高速な計算が可能になった。
• 構造と離散化の同時学習により、特に変数間の依存関係が正しく離散化に影響を与える重要な状況では、より正確で解釈可能なモデルが得られる。