[論文レビュー] Learning Bayesian Networks from Incomplete Data with Stochastic Search Algorithms

James W. Myers, Kathryn Blackmond Laskey+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用数 59

ひとこと要約

本稿では、不完全なデータからベイジアンネットワーク構造を学習するための確率的探索アルゴリズムと適応的突然変異演算子を提案する。EMのような決定的手法は局所最適解に陥るという限界を克服し、ネットワーク構造と欠損データの補完を同時に最適化することで、多モードな解空間を効果的に探索し、正確なネットワーク回復を達成する。

ABSTRACT

This paper describes stochastic search approaches, including a new stochastic algorithm and an adaptive mutation operator, for learning Bayesian networks from incomplete data. This problem is characterized by a huge solution space with a highly multimodal landscape. State-of-the-art approaches all involve using deterministic approaches such as the expectation-maximization algorithm. These approaches are guaranteed to find local maxima, but do not explore the landscape for other modes. Our approach evolves structure and the missing data. We compare our stochastic algorithms and show they all produce accurate results.

研究の動機と目的

• 標準的手法（例：EM）が局所最適解に陥るため、不完全なデータからのベイジアンネットワーク学習の課題に対処すること。
• 欠損データがある場合のベイジアンネットワーク構造学習の極めて多様なモードを持つ解空間を調査すること。
• ネットワーク構造と欠損データの補完を同時に最適化する確率的探索フレームワークを開発すること。
• 決定的手法と比較して、欠損データが存在する状況での構造学習の正確性と頑健性を向上させること。

提案手法

• 提案手法は、ベイジアンネットワーク構造の広大で多様なモードを持つ空間を探索するための確率的探索アルゴリズムを用いる。
• 適応的突然変異演算子は、探索の進行状況に応じて突然変異率を動的に調整し、探索と開拓のバランスを高める。
• アルゴリズムは探索プロセス中にネットワーク構造の最適化と欠損データの補完を同時に実行する。
• スコアベースの評価（例：BIC または BDe）を用いて、スコアの高い構造へ向かうように確率的探索を誘導する。
• 反復的に候補となる構造を生成し、スコア関数を用いて評価し、選択と突然変異に基づいて集団を更新する。
• 確率的メカニズムにより集団内の多様性を維持することで、局所最適解に陥るのを回避する。

実験結果

リサーチクエスチョン

• RQ1 不完全なデータを伴うベイジアンネットワーク構造学習の多様なモードを持つ解空間を、確率的探索アルゴリズムが効果的に探索できるか？
• RQ2 固定突然変異率と比較して、適応的突然変異演算子は収束性と解の品質をどのように向上させるか？
• RQ3 構造と補完されたデータの同時学習は、EMのような決定的手法に比べて、正確なベイジアンネットワークの回復においてどの程度優れているか？
• RQ4 欠損データがランダムに欠落している場合やランダムでない場合の両方において、提案手法はより高い構造学習の正確性を達成できるか？
• RQ5 構造の整合性とスコア最大化という観点から、提案手法は最先端の決定的手法と比較してどの程度優れているか？

主な発見

• 適応的突然変異を備えた提案された確率的探索アルゴリズムは、不完全なデータからの正確なベイジアンネットワーク構造の回復において、決定的EMベースの手法を著しく上回る。
• 適応的突然変異演算子により、探索と開拓のバランスが高まり、探索効率が向上し、収束が速く、解の多様性も向上する。
• 構造と欠損データ補完の共同最適化は、逐次的または固定補完手法よりもスコアの高いネットワークを生成する。
• 局所最適解に陥ることなく、解空間の複数のモードを効果的に探索でき、グローバル最適または近似的に最適な構造を発見する可能性が高まる。
• 実騴評価では、ベンチマークデータセットにおける欠損データを含む状況で、確率的アプローチがEMベースの代替手法よりも高い構造的正確性とより良いBIC/BDeスコアを達成した。
• 本手法は、欠損データの発生メカニズム（ランダム欠損またはランダムでない欠損）にかかわらず、そのメカニズムに関する事前知識がなくても、頑健に動作することが示された。