[論文レビュー] SparsityBoost: A New Scoring Function for Learning Bayesian Network Structure

Eliot Brenner, David Sontag|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 22被引用数 4

ひとこと要約

SparsityBoostは、条件付き独立性検定の統計的パワーに基づいて複雑さペナルティをデータに応じて調整する、ベイジアンネットワーク構造学習のためのデータ依存スコア関数を導入する。これは、データ量の増加に伴いより効率的かつ一貫性のある構造学習を可能にし、完全マップ条件の下でエッジのない構造の正しく回復を保証する。サンプル数が多項式的である。

ABSTRACT

We give a new consistent scoring function for structure learning of Bayesian networks. In contrast to traditional approaches to scorebased structure learning, such as BDeu or MDL, the complexity penalty that we propose is data-dependent and is given by the probability that a conditional independence test correctly shows that an edge cannot exist. What really distinguishes this new scoring function from earlier work is that it has the property of becoming computationally easier to maximize as the amount of data increases. We prove a polynomial sample complexity result, showing that maximizing this score is guaranteed to correctly learn a structure with no false edges and a distribution close to the generating distribution, whenever there exists a Bayesian network which is a perfect map for the data generating distribution. Although the new score can be used with any search algorithm, we give empirical results showing that it is particularly effective when used together with a linear programming relaxation approach to Bayesian network structure learning.

研究の動機と目的

• 従来のBDeu や MDL といったスコア関数がベイジアンネットワークの構造学習において抱える限界を解消すること。
• データサイズが増加するにつれて最大化が計算的に容易になるスコア関数の開発。
• 完全マップが存在する場合に多項式的サンプル複雑性で一貫性のある構造学習を保証すること。
• 特に線形計画法の緩和を組み合わせた場合に、構造学習の効率性と正確性を向上させること。

提案手法

• スコア関数は、条件付き独立性検定がエッジを正しく棄却する確率に基づくデータ依存の複雑さペナルティを組み込む。
• 条件付き独立性検定の統計的パワーを活用して、エッジの非存在の可能性を評価する。
• データ量が増えるにつれてスコアの最大化が計算的に扱いやすくなるように設計されている。
• 構造空間を効率的に探索するために線形計画法の緩和アプローチを用いる。
• データ生成分布に対して完全マップが存在するという仮定の下で、スコアが一貫性を示すことが証明されている。
• 構造学習をガイドするエッジ選択のため、統計的仮説検定と構造学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 固定ルールではなく、データ駆動の統計的パワーに基づいてペナルティを調整するスコア関数を設計可能か？
• RQ2 データ依存スコア関数は、データ量の増加に伴い構造学習の計算効率を向上させるか？
• RQ3 このような関数は、多項式的サンプル複雑性で真のベイジアンネットワーク構造を一貫して回復できるか？
• RQ4 SparsityBoostは、BDeu や MDL といった従来のスコアと比較して、正確性とスケーラビリティの面で優れているか？
• RQ5 線形計画法の緩和と組み合わせた場合、SparsityBoostの構造学習効率にどのような影響があるか？

主な発見

• データ生成分布に完全マップが存在する場合、SparsityBoostは多項式的サンプル複雑性で一貫性のある構造学習を保証する。
• データ量が増えるにつれて、スコアの最大化が計算的に容易になるため、スケーラビリティが向上する。
• 実験的結果では、線形計画法の緩和と組み合わせた場合、SparsityBoostが従来のスコアを上回ることが示された。
• 条件付き独立性検定の統計的パワーを活用して不要なエッジにペナルティを科すことで、偽陽性が効果的に低減される。
• データ生成分布に完全マップが存在する場合、エッジのない構造の回復において高い正確性を達成する。
• 条件付き独立性検定の信頼性を反映するデータ適応型ペナルティにより、効率的な最適化が可能になる。