[论文解读] Direct Learning with Guarantees of the Difference DAG Between Structural Equation Models

Asish Ghoshal, Kevin Bello+1 more|arXiv (Cornell University)|Jun 28, 2019

Bayesian Modeling and Causal Inference参考文献 14被引用 4

一句话总结

该论文提出了一种直接学习算法，用于估计具有相同拓扑排序的两个线性结构方程模型（SEMs）之间的结构差异，通过利用精度矩阵差异实现样本效率。该方法仅需 $\mathcal{O}(d^2 \log p)$ 个样本即可保证精确恢复差异DAG，其中 $d$ 为差异DAG的稀疏度，并建立了匹配的理论样本复杂度下界。

ABSTRACT

Discovering cause-effect relationships between variables from observational data is a fundamental challenge in many scientific disciplines. However, in many situations it is desirable to directly estimate the change in causal relationships across two different conditions, e.g., estimating the change in genetic expression across healthy and diseased subjects can help isolate genetic factors behind the disease. This paper focuses on the problem of directly estimating the structural difference between two structural equation models (SEMs), having the same topological ordering, given two sets of samples drawn from the individual SEMs. We present an principled algorithm that can recover the difference SEM in $\mathcal{O}(d^2 \log p)$ samples, where $d$ is related to the number of edges in the difference SEM of $p$ nodes. We also study the fundamental limits and show that any method requires at least $Ω(d' \log \frac{p}{d'})$ samples to learn difference SEMs with at most $d'$ parents per node. Finally, we validate our theoretical results with synthetic experiments and show that our method outperforms the state-of-the-art. Moreover, we show the usefulness of our method by using data from the medical domain.

研究动机与目标

• 直接估计在相同拓扑排序下两个SEMs之间的因果结构差异，避免通过先恢复单个模型的间接估计方法。
• 在个体SEMs为密集但其差异为稀疏的情况下，实现差异DAG恢复的有限样本保证。
• 建立学习差异SEMs的根本样本复杂度极限，表明样本下界为 $\Omega(d'\log(p/d'))$。
• 通过合成数据和真实世界实验（包括一个医学fMRI数据集）验证该方法在性能上优于当前最先进方法。

提出的方法

• 该算法递归地消除顶点，并在剩余变量上重新估计精度矩阵差异，利用现有的精度矩阵差异估计方法。
• 避免估计原始SEMs中的回归系数或噪声方差，仅聚焦于差异结构。
• 该方法依赖于相互无偏性条件，以确保能从估计的精度矩阵差异中稳定恢复差异DAG。
• 通过集中不等式推导有限样本保证，样本复杂度取决于差异精度矩阵的 $\ell_1$-范数以及各条件下最小对角方差。
• 该算法以有限样本版本实现，采用阈值 $\epsilon$ 控制估计误差，从而以高概率确保精确恢复。
• 理论分析借鉴了高维统计中关于精度矩阵差异的结果，推导出紧致的边界。

实验结果

研究问题

• RQ1 我们能否以比间接方法更少的样本数，直接估计两个SEMs之间的差异DAG，其中间接方法需先估计单个模型？
• RQ2 对于每个节点最多有 $d'$ 个父节点的两个SEMs之间的差异DAG，学习其差异的样本复杂度下界是什么？
• RQ3 直接差异估计的样本复杂度与通过单个模型恢复的间接估计相比如何？
• RQ4 在何种条件下可以实现差异DAG恢复的有限样本保证？
• RQ5 所提出的方法在合成数据和真实世界场景中是否均优于现有方法？

主要发现

• 所提算法以高概率在 $\mathcal{O}(d^2 \log p)$ 个样本内实现差异DAG的精确恢复，其中 $d$ 为差异DAG中的边数。
• 该方法的样本复杂度仅依赖于差异DAG的稀疏度和差异精度矩阵的 $\ell_1$-范数，而不依赖于完整模型的复杂度。
• 建立了匹配的下界 $\Omega(d'\log(p/d'))$ 个样本，表明该方法在对数因子范围内为样本最优。
• 该方法优于先估计单个SEMs的间接方法，尤其在个体模型密集但差异稀疏时表现更优。
• 在真实世界的fMRI实验中，该方法成功识别出大脑连接中的生物学相关变化，特别是在视觉皮层区域，仅有12个区域（共157个）参与差异DAG。
• 合成实验验证了样本复杂度对变量数 $p$ 的对数依赖关系，与理论预测的 $\mathcal{O}(\log p)$ 样本复杂度量级一致。