[論文レビュー] Consistent Second-Order Conic Integer Programming for Learning Bayesian Networks

Si̇mge Küçükyavuz, Ali Shojaie+3 more|arXiv (Cornell University)|May 29, 2020

Bayesian Modeling and Causal Inference参考文献 41被引用数 6

ひとこと要約

本稿では、連続データからのスパースなベイジアンネットワークの学習を目的とした、一貫性のある2次錐混合整数プログラム（MISOCP）を提案する。ビッグ・エム制約を2次錐制約に置き換え、早期停止基準を導入することで、緩和の強度が向上し、収束が加速され、解の漸近的整合性が保証される。特に密なネットワークや大規模ネットワークにおいて、既存の定式化を上回る性能を発揮する。

ABSTRACT

Bayesian Networks (BNs) represent conditional probability relations among a set of random variables (nodes) in the form of a directed acyclic graph (DAG), and have found diverse applications in knowledge discovery. We study the problem of learning the sparse DAG structure of a BN from continuous observational data. The central problem can be modeled as a mixed-integer program with an objective function composed of a convex quadratic loss function and a regularization penalty subject to linear constraints. The optimal solution to this mathematical program is known to have desirable statistical properties under certain conditions. However, the state-of-the-art optimization solvers are not able to obtain provably optimal solutions to the existing mathematical formulations for medium-size problems within reasonable computational times. To address this difficulty, we tackle the problem from both computational and statistical perspectives. On the one hand, we propose a concrete early stopping criterion to terminate the branch-and-bound process in order to obtain a near-optimal solution to the mixed-integer program, and establish the consistency of this approximate solution. On the other hand, we improve the existing formulations by replacing the linear "big-$M$" constraints that represent the relationship between the continuous and binary indicator variables with second-order conic constraints. Our numerical results demonstrate the effectiveness of the proposed approaches.

研究の動機と目的

• 連続データからのベイジアンネットワークにおけるDAG構造の学習のための正確な混合整数二次計画（MIQP）定式化の計算的非実行可能性に対処すること。
• 線形の「ビッグ・エム」制約を2次錐制約に置き換えることで、MIQP定式化における連続緩和の強度を向上させること。
• 分枝限定法における早期停止基準を確立し、標本サイズが増加するにつれて解が真のDAGを漸近的に回復することを保証すること。
• 特に同定不能で密なネットワークにおいて、最先端の手法を上回る性能を示すこと。
• スパースなDAGの学習に対して、証明可能に最適または近似最適な解を得るフレームワークを提供すること。

提案手法

• ビッグ・エム制約の代わりに2次錐制約を用いることで、ベイジアンネットワーク構造学習のための混合整数二次計画を再定式化し、連続緩和を強化する。
• 分枝限定法における新たな早期停止基準を導入し、解が標本サイズが大きくなるにつれて真のパラメータを高確率で漸近的に回復することを保証する。
• 推定されたDAGのスパarsityを促進するために、目的関数としてℓ₀正則化を施したペナルティ付き負の対数尤度（PNL）を用いる。
• 循環を排除するために、指数関数的数のサイクルカット平面を置き換えるために、バイナリ変数を用いたトポロジカル順序制約を導入する。
• 目的関数の凸二次構造と錐定式化を活用することで、計算効率と最適性ギャップの収束を向上させる。
• 実データおよび合成データセットを用い、さまざまなネットワークサイズと密度の下で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 2次錐制約を用いることで、ベイジアンネットワーク構造学習のMIQP定式化における連続緩和の強度が顕著に向上するか？
• RQ2 分枝限定法における提案された早期停止基準は、標本サイズが増加するにつれて、真のDAGと統計的に整合する解をもたらすか？
• RQ3 非同定可能で密なネットワークにおいて、MISOCP定式化は、既存のビッグ・エムMIQPおよびA*-lasso手法と比較して、最適性ギャップおよび解の品質に優れているか？
• RQ4 提案手法は、中～大規模なベイジアンネットワークにおいて、合理的な時間内に証明可能に最適または近似最適な解を得られるか？
• RQ5 ℓ₀正則化と錐定式化の影響は、線形SEMにおける真の因果構造の回復にどのような影響を与えるか？

主な発見

• 2次錐制約を用いたMISOCP定式化は、ビッグ・エム定式化に比べてはるかにタイトな連続緩和を達成し、収束が速く、最適性ギャップが良好になる。特に密で大規模なネットワークにおいて顕著である。
• Hailfinder（56ノード）およびHepar2（70ノード）のデータセットにおいて、MISOCP定式化はビッグ・エムMIQPに比べて最適性ギャップを縮小し、下界を向上させた。下界はそれぞれ0.006から0.014、0.011から0.014に上昇した。
• 早期停止基準により、大多数のインスタンスで分枝限定法が1～2分以内に終了し、完全な最適性が達成されていなくても、高い統計的整合性を持つ解が得られた。
• 非同定可能データセットにおいて、2つの最先端のアルゴリズム（A*-lassoおよび既存のIP手法）を上回った。特に、真の陽性率が高く、偽発見率が低かった。
• Galaxy（20ノード）およびInsurance（27ノード）ネットワークにおいて、MISOCP定式化はビッグ・エム定式化に比べて最適性ギャップが低く（例：0.007 vs. 0.015）、下界も良好であった。緩和の質が向上していることを示している。
• 提案手法は、最小限の最適性ギャップで高い回復率（例：Galaxyでは.955、Insuranceでは.981）を達成し、多様なネットワーク構造にわたって強い統計的整合性と頑健性を示した。