[論文レビュー] Advances in Learning Bayesian Networks of Bounded Treewidth

Siqi Nie, Denis Deratani Mauá+2 more|arXiv (Cornell University)|Jun 5, 2014

Bayesian Modeling and Causal Inference参考文献 27被引用数 23

ひとこと要約

本稿では、木幅が上限で制限されたベイジアンネットワーク構造の正確な学習のための新しい混合整数線形プログラミング（MILP）定式化を提示するとともに、k-ツリーを一様にサンプリングし、それらの中で最適な構造を選択する近似のサンプリングベースの手法を提案する。正確な手法は、より大きなネットワークや高い木幅に対して、最先端の手法を上回る性能を示す。一方、近似手法は効率的にスケーリングされ、最大100変数の公開データセットにおいて高い精度を達成する。

ABSTRACT

This work presents novel algorithms for learning Bayesian network structures with bounded treewidth. Both exact and approximate methods are developed. The exact method combines mixed-integer linear programming formulations for structure learning and treewidth computation. The approximate method consists in uniformly sampling $k$-trees (maximal graphs of treewidth $k$), and subsequently selecting, exactly or approximately, the best structure whose moral graph is a subgraph of that $k$-tree. Some properties of these methods are discussed and proven. The approaches are empirically compared to each other and to a state-of-the-art method for learning bounded treewidth structures on a collection of public data sets with up to 100 variables. The experiments show that our exact algorithm outperforms the state of the art, and that the approximate approach is fairly accurate.

研究の動機と目的

• 木幅に硬い制約を課すベイジアンネットワーク構造の学習という課題に取り組むこと。これは、効率的かつ信頼性の高い推論に不可欠である。
• 従来の動的計画法の限界を超えてスケーリング可能な正確な手法を開発すること。特に50変数を超えるネットワークに対して有効である。
• 正確な手法が非効率になる大規模なドメインや高い木幅制約下でも、スケーラブルな学習を可能にする近似手法を設計すること。
• 指数関数的に大きな制約や切断平面技術を回避することで、従来のMILP定式化を改善し、1回の呼び出しで最適化を可能にする。
• 公開データセット（最大100変数）とさまざまな木幅制約を用いて、両手法を最先端の手法と実験的に比較評価すること。

提案手法

• 正確な手法は、制約なしのベイジアンネットワーク構造学習と木幅計算の既存のMILP定式化を統合した混合整数線形プログラミング（MILP）定式化を用いる。これにより、切断平面の生成を必要とせず、多項式サイズの問題が得られる。
• 近似手法は、k-ツリー（木幅kの最大グラフ）を一様にサンプリングし、各k-ツリーの部分グラフ上で正確または近似の構造学習を実行して、スコアが最高のネットワークを特定する。
• サンプリング手法のバージョン1は、与えられたk-ツリーと整合するすべての可能なネットワーク構造について全探索を行う。一方、バージョン2は、より高速で近似の探索戦略を用いる。
• ランダムシードを複数回変更して複数回のサンプリングを繰り返し、分散を低減する。各実行の結果は、中央値スコアを用いて集約される。
• MILP定式化は標準的なソルバを用いて1回の呼び出しで解かれる。これにより、反復的な制約生成を回避し、効率性と簡潔さが向上する。
• 本手法は、木幅が推論の複雑さの主要因であるという事実に着目しており、したがって、それを制約することで大規模モデルにおける取り扱い可能な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 制約の反復的生成を回避するために、多項式サイズのMILP定式化を、木幅が上限で制限されたベイジアンネットワーク構造学習に構築できるか。
• RQ2 提案された正確なMILP手法は、最大100変数のデータセットにおいて、スケーラビリティと解の質の面で、最先端の手法と比較してどのように性能を発揮するか。
• RQ3 正確な手法が非効率になる大規模ドメインにおいて、複数のk-ツリーを探索する近似のサンプリングベースの手法が、どれほど高品質な解を達成できるか。
• RQ4 固定されたk-ツリー内で構造最適化を最適化するのではなく、優れたk-ツリーを特定することに計算リソースを割く方が、サンプリングベースのアプローチにおいてより効果的であるか。
• RQ5 MAX-SATや切断平面を用いた最近のMILP定式化を用いた手法と比較して、提案手法の性能はどのように異なるか。

主な発見

• 提案されたMILP定式化は、スケーラビリティの面で最先端の手法を上回り、最大100変数、木幅制約が10までの問題を正確に解くことに成功した。一方、最先端の手法は50変数を超えるデータセットでは失敗した。
• MILP手法は、木幅≤4のhillデータセットでは10分以内に解を得られず、communityデータセットでは3時間以内に収束しなかった。これは、大規模ドメインにおけるスケーラビリティの限界を示している。
• サンプリング手法のバージョン2は、常にバージョン1を上回り、反復時間の短縮とk-ツリー空間のより広範な探索により、最高で中央値性能の120%の相対的スコアを達成した。
• 近似手法は高い精度を達成し、特にバージョン2は、より遅いMATLABで実装されていながらも、木幅制約10の大きなデータセットにおいて、MILP定式化を上回った。
• サンプリングベースのアプローチは、ドメインサイズと木幅制約の両方に対して線形にスケーリング可能であり、正確な手法が非効率になる大規模なベイジアンネットワーク学習に適している。
• 結果から、1つのk-ツリー内でネットワーク構造を最適化するのではなく、優れたk-ツリーを特定することに計算リソースを割く方が、はるかに有益であることが示された。バージョン2の優れた性能がその証左である。