[论文解读] Causal de Finetti: On the Identification of Invariant Causal Structure in Exchangeable Data

Siyuan Guo, Viktor R. Tóth+2 more|arXiv (Cornell University)|Mar 29, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了因果 de Finetti 定理，通过利用不变因果机制（ICM）为在可交换数据中识别唯一因果结构提供了形式化基础。证明了在特定的条件独立性属性下，可交换过程可表示为 ICM 生成模型，从而通过条件独立性检验实现唯一因果发现——为基于约束的因果发现中 i.i.d. 数据的根本可识别性限制提供了解决方案。

ABSTRACT

Constraint-based causal discovery methods leverage conditional independence tests to infer causal relationships in a wide variety of applications. Just as the majority of machine learning methods, existing work focuses on studying $ extit{independent and identically distributed}$ data. However, it is known that even with infinite i.i.d.$\ $ data, constraint-based methods can only identify causal structures up to broad Markov equivalence classes, posing a fundamental limitation for causal discovery. In this work, we observe that exchangeable data contains richer conditional independence structure than i.i.d.$\ $ data, and show how the richer structure can be leveraged for causal discovery. We first present causal de Finetti theorems, which state that exchangeable distributions with certain non-trivial conditional independences can always be represented as $ extit{independent causal mechanism (ICM)}$ generative processes. We then present our main identifiability theorem, which shows that given data from an ICM generative process, its unique causal structure can be identified through performing conditional independence tests. We finally develop a causal discovery algorithm and demonstrate its applicability to inferring causal relationships from multi-environment data. Our code and models are publicly available at: https://github.com/syguo96/Causal-de-Finetti

研究动机与目标

• 为解决 i.i.d. 因果发现中的根本局限性，即仅能识别马尔可夫等价类，通过研究可交换数据作为更丰富的统计范式。
• 通过适用于可交换过程的一类新型 de Finetti 型定理，正式证明独立因果机制（ICM）假设的合理性。
• 证明在 ICM 生成过程中，真实因果结构可通过条件独立性检验唯一识别。
• 将多环境数据与可交换过程联系起来，并为这类数据开发实用的因果发现算法。
• 为现有依赖于非 i.i.d. 分组数据和 ICM 假设的因果推断方法提供概率基础。

提出的方法

• 提出因果 de Finetti 定理，刻画具有非平凡条件独立性的可交换分布为 ICM 生成过程。
• 将 ICM 生成过程定义为：控制每个因果机制的潜变量参数在统计上相互独立。
• 证明主要可识别性定理：若数据源自 ICM 生成过程，则其潜在因果图可通过条件独立性检验唯一恢复。
• 将多环境数据重新解释为可交换过程的 i.i.d. 复制品的有限边缘分布，从而实现从多环境数据中进行因果发现。
• 基于分组数据上的条件独立性检验，开发一种利用可交换过程更丰富结构的因果发现算法。
• 使用 d-分离和马尔可夫性质，正式建立在 ICM 假设下因果图中的条件独立关系。

实验结果

研究问题

• RQ1 可交换数据是否能实现对因果结构的唯一识别，超越 i.i.d. 数据的马尔可夫等价类？
• RQ2 何种形式化的概率条件可确保可交换过程可表示为独立因果机制（ICM）生成过程？
• RQ3 在何种条件下，可交换数据中的因果结构可通过条件独立性检验唯一识别？
• RQ4 如何形式化地将多环境数据与可交换过程联系起来，以实现因果发现？
• RQ5 在非 i.i.d. 数据设置中，独立因果机制假设的理论依据是什么？

主要发现

• 可交换数据包含比 i.i.d. 数据更丰富的条件独立性结构，使得在 i.i.d. 方法失效时仍能实现因果结构的唯一识别。
• 本文建立了因果 de Finetti 定理，通过证明具有特定条件独立性属性的可交换过程等价于 ICM 生成模型，正式证明了 ICM 假设的合理性。
• 主要可识别性定理证明：若数据由 ICM 生成过程生成，则真实因果图可通过条件独立性检验唯一识别。
• 多环境数据可被视为可交换过程的 i.i.d. 复制品的有限边缘分布，为非 i.i.d. 设置下的因果发现提供了形式化联系。
• 所提出的算法成功地利用条件独立性检验从多环境数据中推断因果关系，实验验证了其有效性。
• 本工作通过证明可交换性使唯一识别成为可能，解决了基于约束的因果发现中的一个关键局限，而 i.i.d. 假设无法实现这一点。