[論文レビュー] Advances in Bayesian Network Learning using Integer Programming

Mark Bartlett, James Cussens|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 70

ひとこと要約

この論文は、切断平面、高速な貪欲ヒューリスティクス、および tightened 線形緩和を活用して、完全な離散的データから最適なベイジアンネットワークを学習する整数計画法（IP）アプローチを提案する。この手法は、従来の手法と比較してスコアとスケーラビリティの面で顕著な向上を達成しており、高度なIP技術を用いてBN構造学習を離散最適化問題に再定式化することで、ベンチマークデータセット上で劇的な性能向上を示している。

ABSTRACT

We consider the problem of learning Bayesian networks (BNs) from complete discrete data. This problem of discrete optimisation is formulated as an integer program (IP). We describe the various steps we have taken to allow efficient solving of this IP. These are (i) efficient search for cutting planes, (ii) a fast greedy algorithm to find high-scoring (perhaps not optimal) BNs and (iii) tightening the linear relaxation of the IP. After relating this BN learning problem to set covering and the multidimensional 0-1 knapsack problem, we present our empirical results. These show improvements, sometimes dramatic, over earlier results.

研究の動機と目的

• 離散的データからの最適なベイジアンネットワーク構造の学習を、正確な最適化を用いて解決すること。
• ヒューリスティクスまたは近似手法を超えて、ベイジアンネットワーク学習のスケーラビリティと解の品質を向上させること。
• BN構造学習問題を正確な最適化が可能な整数計画法（IP）に再定式化すること。
• 切断平面や緩和の厳密化といった高度な技術を用いて、IPの解法効率を向上させること。
• 標準ベンチマークデータセット上で、既存手法と比較して実証的に優位性を示すこと。

提案手法

• 決定変数をネットワーク内の潜在的エッジとして定義し、ベイジアンネットワーク構造学習問題を整数計画法（IP）として定式化する。
• IPソルバーのガイドとして、高スコアで近似的に最適なネットワークを生成する高速な貪欲アルゴリズムを適用する。
• 効率的な分離アルゴリズムを用いて、分数解を排除しIP緩和を強化する切断平面を同定・追加する。
• 集合被覆問題や多次元0-1ナップサック問題に関連するような、問題構造に由来する有効な不等式を追加することで、IPの線形緩和を厳密化する。
• BN学習と組合せ最適化問題との関係を活用し、既知の多面体的性質を活用してより良い上限を得る。
• これらの要素をブランチアンドカットフレームワークに統合し、IPを最適または近似的に最適に解く。

実験結果

リサーチクエスチョン

• RQ1 整数計画法は、離散的データからのベイジアンネットワーク構造の正確な学習に効果的に適用可能か？
• RQ2 切断平面と緩和の厳密化は、IP定式化の解法効率をどのように向上させるか？
• RQ3 高速な貪欲ヒューリスティクスは、IPベースの学習フレームワークの性能をどの程度向上させるか？
• RQ4 提案手法のスコアと実行時間は、以前の最先端手法と比較してどのように異なるか？
• RQ5 BN学習を集合被覆問題または多次元0-1ナップサック問題に再定式化することで、ソルバー性能にどのような影響を与えるか？

主な発見

• 提案手法は、従来手法と比較してスコア品質において顕著な向上を達成しており、一部のデータセットでは最適スコアの劇的向上が観察された。
• 切断平面と緩和の厳密化の統合により、ブランチアンドカットプロセスにおける最適性ギャップが縮小し、収束が加速した。
• 高速な貪欲ヒューリスティクスにより、最適または近似的に最適なネットワークに到達するまでの時間が大幅に短縮された。
• 標準ベンチマーク上での実証結果から、本手法は従来の正確な手法よりもスケーリングに優れており、以前は解けなかったインスタンスをも解けるようになった。
• BN学習を集合被覆問題および多次元0-1ナップサック問題に再定式化することで、専用の切断平面と有効な不等式の利用が可能になり、ソルバー性能が向上した。
• 複数のベンチマークデータセットにおいて、解の品質と計算効率の両面で、以前の最先端アルゴリズムを上回る性能を発揮した。