[论文解读] Integer Programming for Causal Structure Learning in the Presence of Latent Variables

Rui Chen, Sanjeeb Dash+1 more|arXiv (Cornell University)|Feb 5, 2021

Bayesian Modeling and Causal Inference参考文献 35被引用 5

一句话总结

本文提出了首个基于精确评分的整数规划（IP）方法，用于从连续高斯数据中学习具有潜变量的因果无环链式混合图（ADMG）。通过推广DAG的IP公式并引入新的有效不等式类，该方法保证了最优ADMG结构学习，并在准确率上优于当前最先进的基于评分和基于约束的方法，尤其在存在潜共因的中等规模问题上表现更优。

ABSTRACT

The problem of finding an ancestral acyclic directed mixed graph (ADMG) that represents the causal relationships between a set of variables is an important area of research on causal inference. Most existing score-based structure learning methods focus on learning directed acyclic graph (DAG) models without latent variables. A number of score-based methods have recently been proposed for the ADMG learning, yet they are heuristic in nature and do not guarantee an optimal solution. We propose a novel exact score-based method that solves an integer programming (IP) formulation and returns a score-maximizing ancestral ADMG for a set of continuous variables that follow a multivariate Gaussian distribution. We generalize the state-of-the-art IP model for DAG learning problems and derive new classes of valid inequalities to formulate an IP model for ADMG learning. Empirically, our model can be solved efficiently for medium-sized problems and achieves better accuracy than state-of-the-art score-based methods as well as benchmark constraint-based methods.

研究动机与目标

• 为解决在存在潜变量情况下缺乏精确基于评分的因果结构学习方法的问题。
• 将整数规划公式从DAG扩展至无环祖先ADMG，确保在潜共因干扰下的结构有效性。
• 推导新的有效不等式类，以在混合图中强制执行祖先与无环约束。
• 通过与现有基于评分和基于约束的基线方法对比，实证评估该方法的性能。
• 证明在ADMG学习中，精确优化相较于启发式或局部搜索方法具有显著优势。

提出的方法

• 使用二值变量表示有向边与无向边，将祖先ADMG学习问题建模为混合整数规划（MIP）问题。
• 引入新颖的有效不等式，以强制执行祖先与无环约束，确保解为有效ADMG。
• 通过引入c-分量与区域结构，将现有DAG IP模型推广至潜共因建模。
• 在多元正态假设下，使用条件线性高斯分布计算图结构的评分。
• 采用分支定界割平面技术高效求解MIP，其中割平面来自新推导的有效不等式。
• 将公式扩展至考虑三节点区域中最多每个节点一个父节点所隐含的c-分量，从而提升解的质量。

实验结果

研究问题

• RQ1 能否为具有潜变量的祖先ADMG学习开发一种精确整数规划方法？
• RQ2 如何推导有效不等式，以确保解为有效ADMG，同时保持计算可及性？
• RQ3 所提出的基于IP的方法在ADMG学习中是否优于现有基于评分和基于约束的方法？
• RQ4 随着潜变量与可观测变量数量的增加，该方法的性能如何变化？
• RQ5 当真实图不与任何DAG马尔可夫等价时，ADMG模型是否相比基于DAG的方法具有显著优势？

主要发现

• 所提出的AGIP方法在所有测试设置下均实现了最佳结构汉明距离（SHD）、精确率与召回率，平均优于FCI、cFCI、M3HC与AGIP。
• 平均而言，AGIP实现15.1的SHD、49.6%的精确率与47.2%的召回率，显著优于DAGIP及其他基线方法。
• 在50个非DAG可表示图实例中，AGIP在28个实例上优于DAGIP，证明了直接建模潜共因的优势。
• 随着潜变量数量增加，性能有所下降，但AGIP在高潜变量场景下仍保持最强鲁棒性。
• 即使真实图不满足DAG马尔可夫等价性，该方法仍保持最优性，并在评分、精确率与召回率上优于启发式基于评分方法。
• 引入额外c-分量（如来自三节点区域的c-分量）可提升解的质量，凸显了超越基本分量建模潜结构的重要性。