[論文レビュー] On Pruning for Score-Based Bayesian Network Structure Learning

Alvaro H. C. Correia, James Cussens+1 more|TU/e Research Portal|May 23, 2019

Bayesian Modeling and Causal Inference参考文献 18被引用数 4

ひとこと要約

本稿では、ベイジアンネットワーク構造学習におけるベイジアンディリクレット同等一様（BDeu）スコアのよりタイトな理論的上限を導入し、スコア計算を伴わずにより積極的な候補親集合の刈り込みを可能にした。提案された上限は、スコア関数および最尤推定の性質に対する新しい数学的分析から導出されており、既存手法よりも明確にタイトであると証明されており、最小限の計算コストで探索空間を著しく削減し、正確な構造学習の効率を向上させる。

ABSTRACT

Many algorithms for score-based Bayesian network structure learning (BNSL), in particular exact ones, take as input a collection of potentially optimal parent sets for each variable in the data. Constructing such collections naively is computationally intensive since the number of parent sets grows exponentially with the number of variables. Thus, pruning techniques are not only desirable but essential. While good pruning rules exist for the Bayesian Information Criterion (BIC), current results for the Bayesian Dirichlet equivalent uniform (BDeu) score reduce the search space very modestly, hampering the use of the (often preferred) BDeu. We derive new non-trivial theoretical upper bounds for the BDeu score that considerably improve on the state-of-the-art. Since the new bounds are mathematically proven to be tighter than previous ones and at little extra computational cost, they are a promising addition to BNSL methods.

研究の動機と目的

• 候補親集合の指数的増加に起因する正確なベイジアンネットワーク構造学習（BNSL）における計算ボトル neck を解消すること。
• より効果的な非最適な親集合の刈り込みを可能にする、BDeuスコアのよりタイトな理論的上限を確立すること。
• BDeuスコアはしばしば好まれるが、先行研究における弱い刈り込みのため計算が困難であるため、正確なBNSLのスケーラビリティを向上させること。
• 数学的に証明されたよりタイトな上限と、既存のBNSLアルゴリズムへの統合に適した計算効率の両方を満たす上限を提供すること。

提案手法

• BDeuスコア関数の数学的構造を精緻化することで、既存の最先端手法（ub_f）よりもタイトな上限であるub_gを導出する。
• 最大尤度推定の修正アプローチに基づき、独立した理論的根拠を持つ第二の上限ub_hを導入し、補完的な刈り込みメカニズムを提供する。
• ub_gとub_hをmin{ub_g, ub_h}として組み合わせ、探索空間の不重複領域を同時に刈り込むよりタイトなハイブリッド上限を構築する。
• 1回のデータ走査で計算可能であるように設計することで、計算効率を確保し、線形時間かつ既存のBNSLパイプラインと互換性を持つ。
• UCIデータセット上で上限を実証的に検証し、計算されたスコア数と候補親集合リストのサイズが減少することを示した。

実験結果

リサーチクエスチョン

• RQ1 BDeuスコアのよりタイトな理論的上限を導出でき、現在の最先端手法に比べて著しく優れた刈り込み効率を達成できるか？
• RQ2 新しい上限ub_gとub_hは、それぞれの刈り込み効果においてどのように比較されるか。また、それらを組み合わせることで優れた性能が得られるか？
• RQ3 実際の応用において、提案された上限はBDeuスコアの計算回数と候補親集合のサイズをどの程度削減できるか？
• RQ4 新しい上限は、計算コストの増加を伴わず、正確なBNSLパイプラインにおいて実用的に計算可能か？

主な発見

• 提案された上限ub_gは、すべての候補親集合について、先行の最先端手法であるub_fよりも数学的にタイトであることが証明されている。
• 最大尤度推定に基づく新しいルートから導出された上限ub_hは、独立した刈り込み能力を有し、ub_fに優劣をつけるものではない。
• 組み合わせ上限min{ub_g, ub_h}は、図2で示されるように、ub_fよりも著しくタイトな刈り込みを達成しており、真の最適スコアに近づく。
• UCIデータセットでの実験結果（図3）では、新しい上限がBDeuスコアの計算回数を著しく削減しており、特に10変数を超える大規模データセットで顕著である。
• 上限は計算的に効率的であり、1回のデータ走査で計算可能で、既存のBNSL手法への統合に最小限のオーバーヘッドで統合可能である。