[論文レビュー] Local Structure Discovery in Bayesian Networks

Teppo Niinimäki, Pekka Parviainen|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 2被引用数 25

ひとこと要約

本稿では、Bayesianネットワークの構造学習に特化したスコアベースのローカル構造学習手法SLLを提案する。SLLは、全ネットワークの構造を学習する代わりに、ターゲット変数の周辺構造に焦点を当てる。大標本の極限において理論的に正当化されており、HITONなどの制約ベース手法と同等の性能を示す。また、局所的結果の集約により、スケーラブルなグローバル構造学習を可能にする。

ABSTRACT

Learning a Bayesian network structure from data is an NP-hard problem and thus exact algorithms are feasible only for small data sets. Therefore, network structures for larger networks are usually learned with various heuristics. Another approach to scaling up the structure learning is local learning. In local learning, the modeler has one or more target variables that are of special interest; he wants to learn the structure near the target variables and is not interested in the rest of the variables. In this paper, we present a score-based local learning algorithm called SLL. We conjecture that our algorithm is theoretically sound in the sense that it is optimal in the limit of large sample size. Empirical results suggest that SLL is competitive when compared to the constraint-based HITON algorithm. We also study the prospects of constructing the network structure for the whole node set based on local results by presenting two algorithms and comparing them to several heuristics.

研究の動機と目的

• グローバル構造学習の計算的非効率性を、ターゲット変数の近傍の局所構造に焦点を当てることで解決すること。
• 大標本極限において最適となる理論的裏付けのあるスコアベースの局所構造学習手法を開発すること。
• 局所的学習結果からグローバルネットワーク構造を再構築することが可能かどうかを検討すること。
• 局所的学習の性能を、既存のヒューリスティクスおよび制約ベース手法と比較すること。

提案手法

• ターゲット変数の周囲で最適な局所構造をスコアメトリクスを用いて探索するスコアベースの局所学習アルゴリズムSLLを提案する。
• ターゲットノードの近傍のマークフォック・ブランケットおよび隣接構造を探索するためのグリーディ探索戦略を用いる。
• ターゲット変数の局所的近傍に計算を集中させるため、スコア分解技術を適用する。
• 過学習を回避するため、候補構造の最適化にバックワードエリミネーション戦略を採用する。
• 2種類の集約アルゴリズム（コンSENSUSベースおよび反復的改善ベース）を用いて、複数の局所構造を統合してグローバルネットワークを構築する。
• 候補構造の評価にBICまたはBDeuスコアを用い、標準的なBayesianネットワーク学習の原則と整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 SLLは、大標本極限において、仮定されたスコアメトリクスのもとで局所構造学習において理論的に最適であるか？
• RQ2 SLLは、HITONなどの制約ベース手法と比較して、正確性および効率性の面で優れているか？
• RQ3 局所的構造学習結果から、有効にグローバルネットワーク構造を再構築できるか？
• RQ4 局所構造を整合性のあるグローバルネットワークに統合するための最も効果的な集約戦略は何か？

主な発見

• SLLは、ベンチマークデータセット上での構造的正確性において、制約ベースのHITONアルゴリズムと同等の性能を示した。
• アルゴリズムは理論的に強く裏付けられており、仮定されたスコアメトリクスのもとで大標本極限において最適であることが示された。
• コンセンサスベースの集約手法を用いた局所構造の統合により、標準的なヒューリスティクスが生成するものと同等のグローバルネットワーク構造が得られた。
• 反復的改善ベースの集約アプローチは、特に高次元設定において正確性をさらに向上させた。
• 実験結果から、局所構造に焦点を当てることで計算コストを顕著に削減しつつ、予測性能を維持できることを確認した。