[論文レビュー] Improved Acyclicity Reasoning for Bayesian Network Structure Learning with Constraint Programming

Fulya Trösser, Simon de Givry+1 more|arXiv (Cornell University)|Jun 23, 2021

Bayesian Modeling and Causal Inference参考文献 21被引用数 4

ひとこと要約

本稿は、ベイジアンネットワーク構造学習（BNSL）における制約プログラミング（CP）における巡回性のない制約の推論を強化する手法を提案する。多項式時間のクラスターカット発見アルゴリズム、MaxSAT や WCSP の手法にインspiredされたグリーディな双対線形計画法（LP）ソルバ、および巡回性制約の最適化された GAC 伝播子を導入している。これらは CPBayes に統合され、ELSA として実装され、探索時間を数個のオーダー単位で短縮し、大規模な BNSL インスタンスにおいて GOBNILP や CPBayes よりも優れた性能を示し、時間制限内に 9 個のインスタンスを最適解に到達させた。

ABSTRACT

Bayesian networks are probabilistic graphical models with a wide range of application areas including gene regulatory networks inference, risk analysis and image processing. Learning the structure of a Bayesian network (BNSL) from discrete data is known to be an NP-hard task with a superexponential search space of directed acyclic graphs. In this work, we propose a new polynomial time algorithm for discovering a subset of all possible cluster cuts, a greedy algorithm for approximately solving the resulting linear program, and a generalised arc consistency algorithm for the acyclicity constraint. We embed these in the constraint programmingbased branch-and-bound solver CPBayes and show that, despite being suboptimal, they improve performance by orders of magnitude. The resulting solver also compares favourably with GOBNILP, a state-of-the-art solver for the BNSL problem which solves an NP-hard problem to discover each cut and solves the linear program exactly.

研究の動機と目的

• 離散データからのベイジアンネットワーク構造学習を制約プログラミングを用いて行う際の NP 困難な課題に取り組む。
• 高価で NP 困難なカット生成に依存するのを減らすことで、CP ベースのソルバにおける巡回性のない制約の推論の効率を向上させる。
• 解の品質と計算速度のバランスを取る軽量で効果的な推論メカニズムを開発する。
• より速い緩和境界と、巡回性制約における GAC を用いた強力な pruning を組み合わせることで、GOBNILP や CPBayes などの既存ソルバを上回る性能を達成する。
• ドメインのプルーニングと線形緩和技術の最適化を通じて、BNSL ソルバのスケーラビリティを向上させる。

提案手法

• 巡回性制約の線形緩和を明確に改善する、証明可能な部分集合のクラスターカットを発見する多項式時間のアルゴリズムを提案する。
• MaxSAT や WCSP の手法にインspiredされた、双対線形計画法を近似的に解くグリーディなアルゴリズムを導入し、緩和計算の高速化を図る。
• 従来の研究よりも時間計算量と実用的性能に優れた一般化されたアーク一貫性（GAC）伝播子を、巡回性制約のために設計する。
• これらのモジュールを CPBayes ソルバに統合し、新たなソルバである ELSA を構築する。ELSA は強化された境界とプルーニングを用いた分枝限定法を採用する。
• グリーディな双対 LP ソルバの境界品質を向上させるために、ヒューリスティックなクラスタ順序付け戦略を採用する。
• 下界推定のためのハイブリッドアプローチとして、対称性の打破、部分問題のキャッシュ、パターンデータベースを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 巡回性カットを発見する多項式時間の手法は、NP 困難な部分問題を解かずに、CP ベースの BNSL ソルバの性能を向上させることができるか？
• RQ2 近似的な双対 LP 解が、正確な LP 緩和に十分な近似を与えることで、BNSL の実行時間を著しく短縮できるか？
• RQ3 最適化された巡回性制約用 GAC 伝播子は、従来の手法よりも探索空間の探索をより効果的に削減できるか？
• RQ4 軽量な推論と強力なプルーニングを組み合わせることで、GOBNILP や CPBayes などの最先端ソルバを上回る性能が得られるか？
• RQ5 クラスタ順序付けとヒューリスティックなカット選択は、BNSL の文脈において双対境界の品質をどの程度向上させるか？

主な発見

• 強化された CPBayes ソルバである ELSA は、時間制限内に GOBNILP よりも 9 個の BNSL インスタンスを最適解に到達させた。
• ELSA は、bnetflix データセットを除き、CPBayes よりもほとんどのインスタンスで探索時間を数個のオーダー単位で短縮した。
• GAC 伝播子は、大規模なインスタンスにおいて最大 47% の探索時間を削減し、計算コストが大きな問題に対しては正当化されることが示された。
• クラスタ順序付けにより境界品質が向上し、順序付きのクラスタを用いた場合に比べて 3 個の追加インスタンスが最適解に到達した。
• 提案された多項式時間のクラスターカット発見アルゴリズムは、推論の強度と速度の間で優れたトレードオフを実現し、実際には GOBNILP の NP 困難なカット生成を上回った。
• 正確な双対解を用いないにもかかわらず、グリーディな LP ソルバは緩和計算を著しく高速化し、分枝限定法におけるプルーニングの高速化を可能にした。