[论文解读] Causal Discovery as Semi-Supervised Learning

Chris J. Oates, Sach Mukherjee|arXiv (Cornell University)|Dec 16, 2016

Bayesian Modeling and Causal Inference被引用 1

一句话总结

该论文将因果结构发现问题重新表述为半监督学习任务，将因果关系视为标签，利用观测数据和干预数据，在流形正则化框架下训练基于距离的模型。该方法在三个生物数据集上有效推断出因果结构，表现出优异的性能和实用性，且用户输入极少。

ABSTRACT

This paper frames causal structure estimation as a machine learning task. The idea is to treat indicators of causal relationships between variables as `labels' and to exploit available data on the variables of interest to provide features for the labelling task. Background scientific knowledge or any available interventional data provide labels on some causal relationships and the remainder are treated as unlabelled. To illustrate the key ideas, we develop a distance-based approach (based on bivariate histograms) within a manifold regularization framework. We present empirical results on three different biological data sets (including examples where causal effects can be verified by experimental intervention), that together demonstrate the efficacy and general nature of the approach as well as its simplicity from a user's point of view.

研究动机与目标

• 解决在仅有部分因果知识或干预数据的系统中估计因果结构的挑战。
• 将因果发现重新表述为半监督机器学习任务，以利用已标注数据（已知因果关系）和未标注数据（未知关系）。
• 开发一种实用且可推广的方法，最大限度减少用户干预，并可广泛应用于各类生物数据集。
• 在真实世界生物数据上评估该方法的性能，其中因果效应可通过实验干预进行验证。

提出的方法

• 将变量间因果关系的指标视为标签，已知因果关系由背景知识或干预数据提供。
• 使用双变量直方图计算变量对之间的距离特征，捕捉与因果推断相关的统计依赖性。
• 应用流形正则化，通过利用数据的潜在几何结构，将标签从已标注关系传播到未标注关系。
• 训练一个联合优化已标注和未标注数据的半监督模型，提升对未见因果关系的泛化能力。
• 将学习目标表述为正则化优化问题，平衡拟合已知标签与保持局部数据结构。
• 利用学习到的模型预测高维生物数据集中因果方向与因果结构，且仅需少量标注样本。

实验结果

研究问题

• RQ1 能否有效将因果结构估计问题建模为半监督学习问题，利用现有的干预数据或专家提供的标签？
• RQ2 所提出的基于距离的、流形正则化的方案在真实生物数据集上恢复因果关系的性能如何？
• RQ3 该方法在具有不同标注数据量的多样化生物系统中，其泛化能力如何？
• RQ4 与纯监督或无监督基线相比，引入未标注数据在多大程度上提升了因果发现的性能？

主要发现

• 所提出的方法在三个不同的生物数据集上成功推断出因果结构，展现出强鲁棒性与泛化能力。
• 即使在标注数据有限的情况下，该方法仍表现出色，凸显其在低数据场景下的高效性。
• 实证结果表明，模型能有效利用数据的几何结构，从已标注关系泛化到未标注关系。
• 在具有实验验证的数据集中，预测的因果效应与观测到的干预结果高度一致，证实了该方法的可靠性。
• 该方法使用简单，用户输入极少，适用于真实世界生物应用。
• 基于距离的特征表示结合流形正则化，在捕捉因果依赖关系方面优于基线方法。