[论文解读] Algebraic Equivalence of Linear Structural Equation Models

Thijs van Ommen, Joris M. Mooij|arXiv (Cornell University)|Jul 10, 2018

Bayesian Modeling and Causal Inference参考文献 14被引用 7

一句话总结

本文引入代数等价性作为线性结构方程模型（SEM）的精细化模型等价概念，通过识别对协方差施加相同多项式等式约束的模型，实现更精确的因果发现。利用半轨迹准则，作者提出一种高效方法以确定代数等价性，并通过实验表明，整合这些约束可提升模型选择的准确性——尤其在检测 Y-结构方面——且不损失召回率。

ABSTRACT

Despite their popularity, many questions about the algebraic constraints imposed by linear structural equation models remain open problems. For causal discovery, two of these problems are especially important: the enumeration of the constraints imposed by a model, and deciding whether two graphs define the same statistical model. We show how the half-trek criterion can be used to make progress in both of these problems. We apply our theoretical results to a small-scale model selection problem, and find that taking the additional algebraic constraints into account may lead to significant improvements in model selection accuracy.

研究动机与目标

• 为解决线性 SEM 中系统枚举代数约束（协方差上的等式约束）的缺乏系统方法的问题。
• 解决在观测数据下判断两个混合图是否定义相同统计模型的挑战。
• 通过引入比马尔可夫等价性更精细的等价概念，即考虑超出条件独立性的等式约束，以改进因果发现。
• 展示代数等价性在模型选择中的实际优势，特别是区分马尔可夫等价但代数不等价的模型。
• 表明整合代数约束可提升在观测数据中检测 Y-结构等结构性特征的精确度。

提出的方法

• 提出代数等价性作为线性 SEM 之间的一种新等价关系，其定义为对协方差矩阵施加相同的多项式等式约束。
• 应用半轨迹准则，以高效识别并验证由给定混合图（包括存在隐性混淆和有向环的图）所施加的代数约束。
• 利用代数几何概念（Zariski 闭包）形式化统计模型等价的定义，当其代数约束一致时即视为等价。
• 采用增强型基于约束和基于评分的模型选择方法，通过使用代数等价类对候选模型进行过滤。
• 在模型选择中引入一种过滤程序，检查代数等价类中得分最高的模型是否与预期类别（如 Y-结构）匹配，从而提升精确度。
• 利用代数等价类可能包含不同骨架的图这一事实，使模型选择可在优化失败时（如 RICF 收敛问题）切换至数值更稳定的代表图。

实验结果

研究问题

• RQ1 我们能否系统地枚举由给定混合图所施加的线性 SEM 的代数约束（协方差上的多项式等式约束）？
• RQ2 我们如何判断两个混合图在可观测协方差约束下是否定义相同的统计模型？
• RQ3 在因果结构学习中，与马尔可夫等价性相比，代数等价性的引入能在多大程度上提升从观测数据中学习的准确性？
• RQ4 代数等价性能否用于解决模型选择中的实际问题，如基于似然的优化方法中的收敛失败？
• RQ5 在高维数据中，代数等价性过滤对检测 Y-结构等特定结构模式的精确度有何影响？

主要发现

• 半轨迹准则可高效识别代数约束，例如图 1 所示图中的非独立性约束。
• 代数等价性可区分马尔可夫等价但等式约束不同的模型——例如，图 1 所示图与四节点上的饱和模型不具代数等价性。
• 通过代数等价类对模型候选者进行过滤，将 Y-结构检测的精确度在所有测试维度（p=10,30,50）上提升了最多 0.1，尤其在同时检测 Y-结构和扩展 Y-结构时增益最显著。
• 该过滤程序保持了高召回率，所有维度下真阳性保留率均不低于 98%，表明对灵敏度的损失极小。
• 对于含弓形结构的模型，RICF（正则化最大似然估计）常出现收敛失败；代数等价性使模型可切换至同一类中骨架不同的图，从而提升数值稳定性。
• 代数等价类可能包含骨架不同的图，从而支持实用的模型选择策略，通过选择数值更优的代表图避免收敛失败。