[論文レビュー] Integer Programming for Causal Structure Learning in the Presence of Latent Variables

Rui Chen, Sanjeeb Dash+1 more|arXiv (Cornell University)|Feb 5, 2021

Bayesian Modeling and Causal Inference参考文献 35被引用数 5

ひとこと要約

本稿では、連続ガウス分布データから潜在変数を有する因果的非巡回混合グラフ（ADMG）を学習するための、初めての正確なスコアベースの整数プログラミング（IP）手法を提案する。DAGのIP定式化を一般化し、新たな有効不等式のクラスを導入することで、最適なADMG構造学習を保証し、特に潜在交絡要因を伴う中規模問題において、最先端のスコアベースおよび制約ベースの手法を上回る精度を達成する。

ABSTRACT

The problem of finding an ancestral acyclic directed mixed graph (ADMG) that represents the causal relationships between a set of variables is an important area of research on causal inference. Most existing score-based structure learning methods focus on learning directed acyclic graph (DAG) models without latent variables. A number of score-based methods have recently been proposed for the ADMG learning, yet they are heuristic in nature and do not guarantee an optimal solution. We propose a novel exact score-based method that solves an integer programming (IP) formulation and returns a score-maximizing ancestral ADMG for a set of continuous variables that follow a multivariate Gaussian distribution. We generalize the state-of-the-art IP model for DAG learning problems and derive new classes of valid inequalities to formulate an IP model for ADMG learning. Empirically, our model can be solved efficiently for medium-sized problems and achieves better accuracy than state-of-the-art score-based methods as well as benchmark constraint-based methods.

研究の動機と目的

• 潜在変数が存在する状況における因果構造学習のための正確なスコアベース手法の欠如に対処すること。
• DAGのIP定式化を一般化し、潜在的交絡要因下でも構造的妥当性を保証するように、祖先的ADMGに拡張すること。
• 混合グラフにおける祖先的および非巡回的制約を強制する新たな有効不等式のクラスを導出すること。
• 既存のスコアベースおよび制約ベースのベースラインと比較して、本手法の性能を実験的に評価すること。
• ADMG学習において、ヒューリスティックまたは局所探索アプローチと比較して、正確な最適化が果たす優位性を示すこと。

提案手法

• 方向的および双方向的辺を表すために2値変数を用いた混合整数計画問題（MIP）として、祖先的ADMG学習問題を定式化する。
• 解決策が有効なADMGであることを保証するため、新たな有効不等式を導入し、祖先的および非巡回的制約を強制する。
• 潜在的交絡要因をモデル化するため、c-成分とドメイン構造を組み込むことで、既存のDAG IPモデルを一般化する。
• 多変量正規分布の仮定の下で、グラフ構造のスコアを計算するために、条件付き線形ガウス分布を用いる。
• ブランチアンドカット手法を用いてMIPを効率的に解き、新たな有効不等式から導かれるカットを活用する。
• 1ノードあたり最大1つの親を持つ3ノードのドメインから得られる含意的c-成分を考慮することで、定式化を拡張し、解の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 潜在変数を伴う祖先的ADMGの学習に向け、正確な整数プログラミングアプローチを開発できるか？
• RQ2 計算の実行可能性を保ちつつ、解決策が有効なADMGであることを保証するための有効不等式をどのように導出できるか？
• RQ3 提案されたIPベース手法は、既存のスコアベースおよび制約ベース手法と比較して、ADMG学習においてより高い精度を達成するか？
• RQ4 潜在変数および観測変数の数の増加に伴い、本手法の性能はどのように変化するか？
• RQ5 真のグラフがいかなるDAGともマークフ・同値でない場合、ADMGモデルはDAGベース手法に比べて顕著な利点を提供するか？

主な発見

• 提案されたAGIP手法は、全テスト設定において、SHD（構造的ハミング距離）、精度、再現率の観点で、FCI、cFCI、M3HC、およびAGIPを平均的に上回る。
• 平均して、AGIPは15.1のSHD、49.6%の精度、47.2%の再現率を達成し、DAGIPおよび他のベースラインを著しく上回る。
• DAGで表現できないグラフの28/50のインスタンスにおいて、AGIPはDAGIPを上回り、潜在的交絡要因を直接モデル化する利点を示している。
• 潜在変数の数が増加するにつれて性能は低下するが、AGIPは特に高潜在変数設定においても最も頑健な手法のままである。
• 真のグラフがDAGで表現できない場合でさえ、AGIPは最適性を維持し、ヒューリスティックなスコアベース手法よりもスコア、精度、再現率が優れている。
• 追加のc-成分（例：3ノードのドメインから得られるもの）を含めることで解の品質が向上し、基本的成分を超えた潜在構造のモデル化の重要性が浮き彫りになった。