[論文レビュー] Efficient Approximations for the Marginal Likelihood of Incomplete Data Given a Bayesian Network

David Maxwell Chickering, David Heckerman|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 21被引用数 56

ひとこと要約

この論文は、ベイジアンネットワークにおける不完全データの周辺尤度の漸近的近似を評価し、ラプラス近似、BIC/MDL、およびあまり研究されていない2つの手法（ドレイパーとCS）を比較している。離散的ネiveベイズモデルに隠れルートノードを含む合成データを用いて、CS測度が計算効率を維持したまま最も正確な近似を提供することが判明した。ラプラス近似をゴールドスタンダードと仮定した場合、BIC/MDLや他の代替手法よりも精度が優れていることが示された。

ABSTRACT

We discuss Bayesian methods for learning Bayesian networks when data sets are incomplete. In particular, we examine asymptotic approximations for the marginal likelihood of incomplete data given a Bayesian network. We consider the Laplace approximation and the less accurate but more efficient BIC/MDL approximation. We also consider approximations proposed by Draper (1993) and Cheeseman and Stutz (1995). These approximations are as efficient as BIC/MDL, but their accuracy has not been studied in any depth. We compare the accuracy of these approximations under the assumption that the Laplace approximation is the most accurate. In experiments using synthetic data generated from discrete naive-Bayes models having a hidden root node, we find that the CS measure is the most accurate.

研究の動機と目的

• 不完全データにおけるベイジアンネットワークの周辺尤度のさまざまな漸近的近似の正確性を評価すること。
• BIC/MDL やラプラス近似といった既存の近似手法と、ドレイパー（1993）やチーズマン＝シュッツ（CS）といったあまり研究されていない代替手法の、計算効率と正確性を比較すること。
• 不完全データからベイジアンネットワークを学習する際、正確性と計算コストのバランスが最良となる近似法を特定すること。
• ラプラス近似が最も正確な基準点であると仮定した場合、これらの近似法の性能を評価すること。

提案手法

• 著者たちは、隠れルートノードを含む離散的ネイティブベイズモデルから生成された合成データを用いて、不完全データのシナリオを模擬した。
• 4つの近似手法を適用した：ラプラス（ゴールドスタンダードと想定）、BIC/MDL、ドレイパー（1993）、チーズマン＝シュッツ（CS）、周辺尤度を推定した。
• 正確性は、各近似の推定値を、最も正確な基準として扱われるラプラス近似と比較することで評価した。
• 複数の合成データセットを用いて、欠損データの割合やネットワーク構造の違いを考慮した比較が行われた。
• CS測度はベイジアンモデル平均のアプローチに基づき、正確性を維持しつつ計算効率を確保することを目的として設計された。
• 実験はUAI 1996ベンチマークフレームワークを用い、一貫性と精度の観点から結果を分析した。

実験結果

リサーチクエスチョン

• RQ1 不完全データにおけるベイジアンネットワークの周辺尤度の漸近的近似手法の中で、正確性と計算効率のバランスが最も優れているのはどれか？
• RQ2 ラプラス近似を基準として用いた場合、チーズマン＝シュッツ（CS）測度の正確性はBIC/MDLやドレイパー（1993）と比べてどの程度優れているか？
• RQ3 CS近似は、データ不完全性の度合いやネットワークの複雑さが異なる状況でも高い正確性を維持できるか？
• RQ4 ドレイパーおよびCSといったあまり研究されていない近似手法は、計算コストが同程度であるにもかかわらず、BIC/MDL よりも顕著に正確性が優れているか？

主な発見

• ラプラス近似を基準と仮定した場合、CS測度はBIC/MDL やドレイパー（1993）の両者を正確性で上回った。
• テストされたすべての近似手法の中で、CS測度は複数の合成データセットにおいてラプラス周辺尤度に最も近い推定値を提供した。
• BIC/MDL 近似は計算効率が優れているが、CS測度およびラプラス近似よりも正確性に劣る。
• ドレイパー（1993）近似は中程度の正確性を示したが、すべてのテスト状況でCS測度に劣った。
• CS測度は、高いレベルのデータ欠損に対しても高い正確性を維持しており、欠損データに対して頑健であることが示された。
• 結果から、CS近似は不完全データを伴うベイジアンネットワークの構造学習に強力な候補であると考えられる。