[论文解读] Deep Convolutional Neural Networks for Pairwise Causality

Karamjit Singh, Garima Gupta+3 more|arXiv (Cornell University)|Jan 3, 2017

Bayesian Modeling and Causal Inference参考文献 9被引用 5

一句话总结

本文提出使用深度卷积神经网络（CNN）从观测数据的散点图中推断成对因果方向，将每对属性视为二维图像。该方法通过带有梯度提升分类器的加权集成模型实现最先进性能，在NIPS 2013因果对挑战中表现优于先前方法，尤其在数据稀缺条件下优势显著。

ABSTRACT

Discovering causal models from observational and interventional data is an important first step preceding what-if analysis or counterfactual reasoning. As has been shown before, the direction of pairwise causal relations can, under certain conditions, be inferred from observational data via standard gradient-boosted classifiers (GBC) using carefully engineered statistical features. In this paper we apply deep convolutional neural networks (CNNs) to this problem by plotting attribute pairs as 2-D scatter plots that are fed to the CNN as images. We evaluate our approach on the 'Cause- Effect Pairs' NIPS 2013 Data Challenge. We observe that a weighted ensemble of CNN with the earlier GBC approach yields significant improvement. Further, we observe that when less training data is available, our approach performs better than the GBC based approach suggesting that CNN models pre-trained to determine the direction of pairwise causal direction could have wider applicability in causal discovery and enabling what-if or counterfactual analysis.

研究动机与目标

• 解决仅使用观测数据推断两个变量之间因果方向的挑战，传统条件独立性检验因缺乏调节变量而失效。
• 克服现有统计方法（如梯度提升分类器GBC）依赖手工设计特征且在稀疏数据下表现欠佳的局限性。
• 探究深度学习（特别是CNN）是否能直接从散点图中的视觉模式学习因果方向，而无需显式特征工程。
• 研究CNN模型在训练数据有限时的泛化能力和鲁棒性，这是现实世界中常见的约束条件。
• 开发一种结合CNN和GBC的集成框架，以融合各自优势，在因果发现基准上实现更优性能。

提出的方法

• 将每个成对数据实例转换为200×200灰度散点图：对于连续属性，直接绘制点；对于二值或分类属性，将频次映射为灰度强度。
• 训练一个15层CNN，包含五个阶段，每个阶段包含两次卷积和一次最大池化层，用于从散点图图像中分类因果方向（X→Y、Y→X或无因果关系）。
• 使用在手工设计统计特征（如回归残差不对称性、噪声分布）上训练的独立梯度提升分类器（GBC）预测相同的三分类因果标签。
• 通过组合CNN和GBC的概率构建加权集成模型：$ p^e_k = w \cdot p^c_k + (1-w) \cdot p^g_k $，其中 $ w \in [0,1] $ 在验证集上进行调优。
• 通过交换X和Y来应用数据增强，生成对称的训练样本，提升模型泛化能力和鲁棒性。
• 使用准确率和AUC评估模型性能，AUC按NIPS 2013官方挑战指标计算，并在完整和稀疏训练数据划分上验证性能。

实验结果

研究问题

• RQ1 深度卷积神经网络能否在不依赖手工统计特征的情况下，有效从散点图的视觉模式中学习因果方向？
• RQ2 在NIPS 2013因果对基准上，基于CNN的方法与最先进梯度提升分类器（GBC）相比表现如何？
• RQ3 当训练数据稀缺（每对属性少于100个观测值）时，基于CNN的方法是否比GBC泛化能力更强，尤其在数据稀疏场景下？
• RQ4 通过融合互补优势，CNN与GBC的加权集成模型能否实现更优性能？
• RQ5 由于CNN依赖原始散点图而非领域特定特征，该模型是否具备跨数据集的可迁移性，无需重新训练？

主要发现

• CNN与GBC的加权集成模型在Kaggle测试集上达到0.825的AUC，超越最先进水平，在私有排行榜上排名第一。
• 在完整训练数据上，集成模型在验证集上达到79.3%准确率和0.831 AUC，优于独立的CNN（72.5%准确率，0.779 AUC）和GBC（77.8%准确率，0.805 AUC）模型。
• 当训练数据减少至每实例100–1000个观测值时，基于CNN的模型在准确率和AUC上均持续优于基于GBC的模型，表明其对数据稀疏性具有更强鲁棒性。
• CNN模型在测试集上达到73.3%准确率和0.769 AUC，即使无特征工程也表现强劲，且在完整数据上虽低于GBC，但仍具竞争力。
• 模型在稀疏数据上的表现表明，CNN能从视觉结构中学习内在因果模式，使其更适用于真实世界中观测值有限的应用场景。
• 集成模型的成功表明CNN与GBC具有互补性：CNN捕捉视觉模式，GBC利用统计不变性，二者融合显著提升整体预测能力。