[论文解读] Characterizing Distribution Equivalence and Structure Learning for Cyclic and Acyclic Directed Graphs

AmirEmad Ghassami, Alan Yang+2 more|arXiv (Cornell University)|Oct 28, 2019

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种适用于线性高斯有向图模型（无论循环或无环）的统一分布等价性概念，定义两个结构为等价，若它们生成相同的数据分布集合。该文提出基于Givens旋转的代数与图形方法以表征等价性，引入一种较弱的准等价性概念以实现观测可识别性，并设计了一种基于评分的局部搜索算法，成功学习了无环与循环结构，相较于标准方法显著提升了对等价结构的恢复能力。

ABSTRACT

The main approach to defining equivalence among acyclic directed causal graphical models is based on the conditional independence relationships in the distributions that the causal models can generate, in terms of the Markov equivalence. However, it is known that when cycles are allowed in the causal structure, conditional independence may not be a suitable notion for equivalence of two structures, as it does not reflect all the information in the distribution that is useful for identification of the underlying structure. In this paper, we present a general, unified notion of equivalence for linear Gaussian causal directed graphical models, whether they are cyclic or acyclic. In our proposed definition of equivalence, two structures are equivalent if they can generate the same set of data distributions. We also propose a weaker notion of equivalence called quasi-equivalence, which we show is the extent of identifiability from observational data. We propose analytic as well as graphical methods for characterizing the equivalence of two structures. Additionally, we propose a score-based method for learning the structure from observational data, which successfully deals with both acyclic and cyclic structures.

研究动机与目标

• 为线性高斯设定下循环有向图模型缺乏一般性等价表征的问题提供解决方案。
• 在基于分布的准则下，统一无环与循环结构的等价性定义。
• 开发一种方法，利用较弱的准等价性概念，识别从观测数据中可实现的可识别性程度。
• 设计一种基于评分的局部搜索算法，能够学习含环结构，克服传统以DAG为中心的方法的局限性。

提出的方法

• 提出分布等价性定义：若两个结构生成相同的数据分布集合，则视为等价。
• 引入Givens旋转作为核心代数工具，用于表征有向图之间的等价性，适用于循环与无环情形。
• 基于Givens变换下的结构不变性，发展等价性的图形表征。
• 引入准等价性作为较弱的等价性概念，以捕捉从观测数据中可实现的最大可识别性。
• 设计一种基于评分的局部搜索算法，采用新型搜索算子，通过修改图中的三角形结构以提升收敛至等价结构的能力。
• 应用对最大强连通子图（MSCSs）上联合分布的因子分解，实现在结构搜索过程中高效的评分更新。

实验结果

研究问题

• RQ1 能否为循环与无环线性高斯有向图模型定义统一的等价性概念？
• RQ2 从观测数据中，循环与无环结构在多大程度上可被区分？其可识别性的根本限制是什么？
• RQ3 如何调整结构学习算法，以有效探索循环与无环模型的结构空间？
• RQ4 能否设计一种基于评分的局部搜索方法，在存在环路的情况下实现渐近可识别性？

主要发现

• 在五变量循环示例中，采用新搜索算子的算法在89%的试验中恢复了等价结构，而标准禁忌搜索法为0%。
• 在第二项实验中，改进后的算法实现了83%的等价结构恢复率，显著优于基线方法的45%。
• 基于评分的方法渐近地达到了由准等价性定义的可识别性程度，证实了其理论合理性。
• 使用Givens旋转使得等价性的表征更加简洁且具有一般性，可涵盖并扩展传统无环模型的马尔可夫等价性。
• 通过在最大强连通子图上因子分解似然函数，该方法保持了计算效率，支持局部化的评分更新。
• 性能随样本量提升而改善，当样本量n从$10^3$增至$10^5$时，$ε_0$-正则化局部搜索表现出显著性能提升。