[論文レビュー] Bayesian network learning with cutting planes

James Cussens|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 13被引用数 167

ひとこと要約

本稿では、巡回性を強制するためのカット平面を動的に生成する整数計画法（IP）としてのベイジアンネットワーク構造学習問題の定式化により、新規な正確な手法を提案する。SCIPフレームワークと、有効なカット平面を生成するためのサブIPを用いることで、従来の手法よりも著しく高速な正確な学習が達成され、親集合サイズが制限されたベンチマークデータセットにおいて高い効率性を示した。

ABSTRACT

The problem of learning the structure of Bayesian networks from complete discrete data with a limit on parent set size is considered. Learning is cast explicitly as an optimisation problem where the goal is to find a BN structure which maximises log marginal likelihood (BDe score). Integer programming, specifically the SCIP framework, is used to solve this optimisation problem. Acyclicity constraints are added to the integer program (IP) during solving in the form of cutting planes. Finding good cutting planes is the key to the success of the approach -the search for such cutting planes is effected using a sub-IP. Results show that this is a particularly fast method for exact BN learning.

研究の動機と目的

• 親集合サイズの制限下で、完全な離散データからの正確なベイジアンネットワーク構造学習の課題に取り組むこと。
• 動的制約生成を活用した整数計画法により、正確な学習の計算効率を向上させること。
• 最適化によるBDeスコアの最大化を実現するスケーラブルで効率的な手法を開発すること。
• 知的なカット平面生成により、BN構造探索における巡回性の強制にかかる計算負荷を低減すること。

提案手法

• 各ノードの潜在的親集合を表す意思変数を用いて、構造学習問題を整数計画法（IP）として定式化する。
• 目的関数は、ネットワーク構造の対数周辺尤度（BDeスコア）を最大化すること。
• 巡回性は、事前にすべての制約を含めるのではなく、解法プロセス中に生成されるカット平面によって強制する。
• 循環を特定し、解法を高速化する有効なカット平面を同定するため、サブIPを用いる。
• カット平面の動的追加を伴うIPを解くために、SCIP最適化フレームワークを採用する。
• 解法の tractability を向上させるとともに、現実的なモデリング制約を反映するため、親集合サイズを制限する。

実験結果

リサーチクエスチョン

• RQ1 動的カット平面を用いた整数計画法は、既存の正確な手法を上回る性能を示せるか？
• RQ2 サブIPを用いた巡回性強制カット平面の生成は、解法時間をどの程度短縮できるか？
• RQ3 親集合サイズの制限は、モデル品質を損なわせることなくスケーラビリティをどの程度向上させるか？
• RQ4 カット平面アプローチは、正確性を維持しつつ、標準ベンチマークで顕著な高速化を達成できるか？

主な発見

• 提案手法は、標準ベンチマークデータセットにおいて、従来の正確なアプローチよりも高速な正確な学習性能を達成した。
• 動的カット平面の使用により、IPを解くために必要なブランチアンドカット反復回数が著しく削減された。
• カット平面の生成にサブIPを用いるアプローチは、循環の特定に効果的であり、収束速度の向上に寄与した。
• 中程度の親集合サイズの制限下でも、従来の手法では不可能だったより大きなネットワークにおける正確な学習が可能になった。