[論文レビュー] Bayesian network learning by compiling to weighted MAX-SAT

James Cussens|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 8被引用数 43

ひとこと要約

本論文は、構造学習問題を重み付きMAX-SAT問題に定式化することで、離散的ベイジアンネットワークを学習する新しい手法を提案している。MaxWalkSatアルゴリズムを用いた最適化により、家族スコア（BDeu）をソフトクラウーズに変換し、全順序によるサイクル除去を実装することで、60変数および10,000件のデータポイントを含む大規模なインスタンスを含む21の合成データセットにおいて、真のネットワークよりも高いBDeuスコアを達成するベイジアンネットワーク構造を効率的に発見する。

ABSTRACT

The problem of learning discrete Bayesian networks from data is encoded as a weighted MAX-SAT problem and the MaxWalkSat local search algorithm is used to address it. For each dataset, the per-variable summands of the (BDeu) marginal likelihood for different choices of parents ('family scores') are computed prior to applying MaxWalkSat. Each permissible choice of parents for each variable is encoded as a distinct propositional atom and the associated family score encoded as a 'soft' weighted single-literal clause. Two approaches to enforcing acyclicity are considered: either by encoding the ancestor relation or by attaching a total order to each graph and encoding that. The latter approach gives better results. Learning experiments have been conducted on 21 synthetic datasets sampled from 7 BNs. The largest dataset has 10,000 datapoints and 60 variables producing (for the 'ancestor' encoding) a weighted CNF input file with 19,932 atoms and 269,367 clauses. For most datasets, MaxWalkSat quickly finds BNs with higher BDeu score than the 'true' BN. The effect of adding prior information is assessed. It is further shown that Bayesian model averaging can be effected by collecting BNs generated during the search.

研究の動機と目的

• スケーラブルで効果的な最適化フレームワークを用いて、データから最適なベイジアンネットワーク構造を学習する課題に対処すること。
• 強力な局所探索ソルバを活用できるように、離散的ベイジアンネットワーク学習問題を重み付きMAX-SAT問題にエンコードすること。
• サイクル除去の2つの戦略（先行関係のエンコードと変数の全順序）の有効性を評価すること。
• 事前情報の影響を評価し、探索ベースのサンプリングによるベイジアンモデル平均化の可能性を示すこと。

提案手法

• 各変数の潜在的親集合に対する家族スコア（BDeu）を事前に計算し、MAX-SAT定式化においてソフト重み付き単一リテラルクラウーズとしてエンコードする。
• 各変数の許容される親構成は、SATインスタンス内での別個の命題原子として表現される。
• サイクルの防止のため、変数間の全順序を導入し、ハードクラウーズとして制約をエンコードすることでサイクル性を強制する。
• 重み付きCNF式に対してMaxWalkSat局所探索アルゴリズムを適用し、ソフトクラウーズの重み合計（すなわちBDeuスコア）を最大化する。
• 探索プロセス中に複数の高スコアネットワークを収集することで、ベイジアンモデル平均化をサポートする。
• 本手法は、7つのベイジアンネットワークから導出された21の合成データセット（最大60変数、10,000件のデータポイント）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワーク構造学習は、スケーラブルな最適化を可能にする重み付きMAX-SAT問題に効果的に再定式化可能か？
• RQ2 先行関係エンコードと全順序のどちらが、BDeuスコアおよび収束速度の観点で優れているか？
• RQ3 本MAX-SATエンコードを用いた場合、事前情報の組み込みが、学習されたベイジアンネットワークの品質にどのように影響するか？
• RQ4 探索プロセス中に多様な高スコア構造を収集することで、どの程度までベイジアンモデル平均化を近似できるか？

主な発見

• 大多数の合成データセットにおいて、MaxWalkSatは、データ生成に用いられた真のネットワークよりも高いBDeuスコアを持つベイジアンネットワーク構造を一貫して発見した。
• サイクル除去の観点から、全順序アプローチが先行関係エンコードを上回る解の質と収束速度を達成した。
• 本手法は大規模データセットにもスケーラブルであり、60変数、10,000件のデータポイントを持つネットワークに対して、19,932の原子と269,367のクラウーズを含む重み付きCNFインスタンスを生成した。
• 事前情報の組み込みにより、学習された構造の品質が向上し、ドメイン知識の統合が可能な本手法の柔軟性が実証された。
• 探索プロセス中に複数の高スコアネットワークを収集することで、ベイジアンモデル平均化が効果的に近似された。これにより、点推定を超えた本手法の有用性が裏付けられた。