[論文レビュー] Learning Bayesian Networks from Incomplete Databases

Marco Ramoni, Paola Sebastiani|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用数 101

ひとこと要約

本稿では、反復最適化に依存せずに、欠損データを含むデータベースからベイジアンネットワーク構造を決定論的に学習する手法を提示する。欠損データを尤度に基づく推定で扱う条件付き独立性検定を活用することで、欠損データの頻度にほとんど依存しない実行時間で、安定性と効率性において従来の反復的手法を上回る頑健な構造学習を実現する。

ABSTRACT

Bayesian approaches to learn the graphical structure of Bayesian Belief Networks (BBNs) from databases share the assumption that the database is complete, that is, no entry is reported as unknown. Attempts to relax this assumption involve the use of expensive iterative methods to discriminate among different structures. This paper introduces a deterministic method to learn the graphical structure of a BBN from a possibly incomplete database. Experimental evaluations show a significant robustness of this method and a remarkable independence of its execution time from the number of missing data.

研究の動機と目的

• 既存のベイジアンネットワーク学習手法が完全なデータベースを仮定するという制限を解消すること。
• 欠損値を含むデータに対しても効果的かつ効率的な構造学習アプローチを開発すること。
• 不完全なデータを処理するための高コストな反復的最適化手法への依存を排除すること。
• 欠損データの頻度にかかわらず、安定的かつスケーラブルな学習パフォーマンスを保証すること。

提案手法

• 本手法は、尤度に基づく推定を用いて、欠損データを含むエントリを考慮した条件付き独立性検定を計算する。
• 不完全なデータに調整された修正済みBICに類似した基準を用いて、ネットワーク構造を評価するスコアベースの探索戦略を適用する。
• 欠損データ下での十分統計量の推定にEMアルゴリズムを用いて、条件付き独立性検定を計算する。
• 反復的リファインメントループを回避するため、欠損データ処理を構造学習プロセスに直接統合する。
• 推定された尤度に基づいて、最適なネットワーク構造を特定するためのグリーディーなハイクライミング探索を採用する。
• 本手法は決定論的であり、MCMC やEMに基づく構造探索などの反復的手法が抱える確率的性質や収束問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 反復的リファインメントを必要とせず、不完全なデータベース上でベイジアンネットワーク構造学習を信頼性高く実行できるか？
• RQ2 計算効率性および欠損データへの頑健性という観点から、本手法は反復的手法と比べてどのように異なるか？
• RQ3 本手法の実行時間は、データベース内の欠損データの割合にどの程度依存するか？
• RQ4 データが極めて不完全であっても、構造回復の精度が高く保たれるか？
• RQ5 さまざまな欠損データパターンを有する多様なデータセットにおいて、本手法は安定したパフォーマンスを維持できるか？

主な発見

• 提案手法は欠損データに対して顕著な頑健性を示し、欠損エントリの割合が異なるデータセットにおいても一貫したパフォーマンスを維持する。
• 実行時間は著しく安定しており、欠損データポイントの数にほとんど依存せず、反復的手法とは対照的である。
• 最大50％のデータが欠損している場合でさえも、真のネットワーク構造の回復に高い精度を達成する。
• 特に高欠損率の大きなデータセットにおいて、速度と安定性の両面で反復的手法を上回る。
• 尤度に基づく条件付き独立性検定の使用により、複数回の再起動や収束チェックを必要とせず、信頼性の高い構造学習が可能になる。
• 実証的評価から、本手法はスケーラブルであり、不完全データを伴う実世界の応用に適していることが示された。