[论文解读] Causal Discovery Using Proxy Variables

Mateo Rojas-Carulla, Marco Baroni+1 more|arXiv (Cornell University)|Feb 23, 2017

Bayesian Modeling and Causal Inference参考文献 31被引用 10

一句话总结

本文提出了一种代理变量框架，通过统计投影将静态实体（如艺术品、文档或词对）转化为可观测的随机变量，从而推断其因果关系。该方法在包含10,000对词对的人工标注数据集上实现了75%的准确率，展现出良好的鲁棒性与人类直觉的一致性。

ABSTRACT

Discovering causal relations is fundamental to reasoning and intelligence. In particular, observational causal discovery algorithms estimate the cause-effect relation between two random entities $X$ and $Y$, given $n$ samples from $P(X,Y)$. In this paper, we develop a framework to estimate the cause-effect relation between two static entities $x$ and $y$: for instance, an art masterpiece $x$ and its fraudulent copy $y$. To this end, we introduce the notion of proxy variables, which allow the construction of a pair of random entities $(A,B)$ from the pair of static entities $(x,y)$. Then, estimating the cause-effect relation between $A$ and $B$ using an observational causal discovery algorithm leads to an estimation of the cause-effect relation between $x$ and $y$. For example, our framework detects the causal relation between unprocessed photographs and their modifications, and orders in time a set of shuffled frames from a video. As our main case study, we introduce a human-elicited dataset of 10,000 pairs of casually-linked pairs of words from natural language. Our methods discover 75% of these causal relations. Finally, we discuss the role of proxy variables in machine learning, as a general tool to incorporate static knowledge into prediction tasks.

研究动机与目标

• 解决在传统观测因果发现无法直接适用的场景下，推断静态实体（如一幅画与其赝品，或一个词与其语义后果）之间因果关系的挑战。
• 开发一种通用框架，通过引入代理变量将静态实体转化为可度量的随机变量，从而实现从观测数据中进行因果发现。
• 在图像修改任务和大规模自然语言因果数据集上实证验证该框架，证明其在真实场景中的有效性。
• 探索代理变量作为将外部知识整合到机器学习模型中的通用工具的更广泛应用，以提升预测性能和可解释性。

提出的方法

• 引入代理变量 W，提供与静态实体 x 和 y 相关的统计信息，从而从 x 和 y 构建可观测的随机变量 A 和 B。
• 定义投影函数 π，将 (x,y) 的联合分布映射到代理变量的分布上，生成适合因果发现的统计表示。
• 对投影变量 (A,B) 应用观测因果发现算法（如 RCC、LiNGAM），以推断原始静态实体 (x,y) 之间的因果方向。
• 采用基于分布的因果发现方法，将投影样本的完整二维分布作为输入，确保对特征排列或删除的不变性。
• 在原始 word2vec 特征和投影分布上分别训练并评估分类器（如随机森林），以比较基于特征与基于分布方法的性能。
• 利用人工标注的置信度分数验证模型预测与人类识别的因果关系之间的一致性。

实验结果

研究问题

• RQ1 代理变量能否有效将静态实体转化为适合因果发现的可观测随机变量？
• RQ2 所提出的框架在图像修改和视频帧排序任务中恢复已知因果关系的能力如何？
• RQ3 该方法在自然语言因果关系中的泛化程度如何，特别是在检测如 'accident → injury' 这类因果对时？
• RQ4 基于分布的因果发现方法与基于特征的基线方法相比，在捕捉真实因果结构方面表现如何？
• RQ5 代理变量能否作为将外部知识整合到机器学习模型中的通用机制？

主要发现

• 所提出的代理变量框架在包含10,000对因果关联词对的人工标注数据集中，实现了75%的准确率，用于识别因果关系。
• 该方法在80%的图像修改案例中成功推断出因果方向，并在大多数试验中正确排序了打乱的视频帧。
• 基于分布的因果发现方法优于基线方法，最佳方法达到75%的测试准确率，显著高于59%的基线表现。
• 基于 πw2voi 投影的 RCC 方法表现最佳，表明以原因词为条件的词汇分布会影响以结果词为条件的分布。
• 模型分类准确率与人工标注的因果关系置信度之间存在显著正相关，表明其与人类直觉高度一致。
• 基于特征的方法最高可达85%的准确率，但易受过拟合和特征排列的影响；而基于分布的方法更具鲁棒性，泛化能力更强。