[论文解读] Causality-aware counterfactual confounding adjustment for feature representations learned by deep models

Elias Chaibub Neto|arXiv (Cornell University)|Apr 20, 2020

Bayesian Modeling and Causal Inference参考文献 43被引用 6

一句话总结

本文提出了一种因果感知的反事实混杂调整方法，用于深度神经网络（DNN）特征表示，通过利用DNN中固有的线性建模步骤（softmax输出）实现。通过使用与标签线性相关的倒数第二层特征，该方法基于反事实进行线性混杂调整，在数据分布发生偏移时显著提升了模型稳定性，同时在无偏移情况下保持了性能。

ABSTRACT

Causal modeling has been recognized as a potential solution to many challenging problems in machine learning (ML). Here, we describe how a recently proposed counterfactual approach developed to deconfound linear structural causal models can still be used to deconfound the feature representations learned by deep neural network (DNN) models. The key insight is that by training an accurate DNN using softmax activation at the classification layer, and then adopting the representation learned by the last layer prior to the output layer as our features, we have that, by construction, the learned features will fit well a (multi-class) logistic regression model, and will be linearly associated with the labels. As a consequence, deconfounding approaches based on simple linear models can be used to deconfound the feature representations learned by DNNs. We validate the proposed methodology using colored versions of the MNIST dataset. Our results illustrate how the approach can effectively combat confounding and improve model stability in the context of dataset shifts generated by selection biases.

研究动机与目标

• 解决由训练数据中的混杂因素和选择偏差引起的DNN中虚假相关性问题。
• 将原本为线性结构因果模型设计的反事实混杂调整方法，适配至深度特征表示。
• 通过去混杂学习到的表示，提升模型在数据分布偏移下的泛化能力和稳定性。
• 验证反事实调整DNN特征的方法在保持预测稳定性方面优于SMOTE等数据平衡方法。
• 提供一种实用且非侵入性的去混杂DNN特征方法，无需重新训练模型。

提出的方法

• 在输出层使用softmax激活函数训练深度神经网络，以确保倒数第二层的特征与类别标签呈线性关系。
• 提取softmax输出前一隐藏层的特征表示，作为混杂调整的输入。
• 基于特征的线性建模，应用基于反事实的混杂调整方法，利用观测到的混杂因子（如MNIST中的图像颜色）来去混杂预测结果。
• 使用线性回归建模特征、混杂因子与标签之间的关系，然后生成去除混杂因子影响的反事实特征。
• 通过条件独立性检验评估调整效果：检查在真实标签给定条件下，调整后的特征是否与混杂因子独立。
• 通过偏相关分析进行经验合理性检验，验证在标签给定条件下，调整后的特征与混杂因子是否条件独立。

实验结果

研究问题

• RQ1 为线性模型设计的反事实混杂调整方法能否有效应用于深度神经网络学习到的特征表示？
• RQ2 对DNN特征进行反事实调整是否能提升在由选择偏差引起的数据分布偏移下的模型稳定性？
• RQ3 与SMOTE等数据平衡方法相比，该方法在预测稳定性方面表现如何？
• RQ4 反事实调整的有效性是否可通过条件独立性检验经验验证？
• RQ5 当不存在混杂时（即混杂因子具有预测性），该方法是否仍能保持性能？

主要发现

• 因果感知的反事实调整有效去除了混杂效应，表现为在真实标签给定条件下，调整后特征与混杂因子之间的偏相关系数紧密聚集在零附近。
• 在所有数据分布偏移水平下，基于反事实调整特征训练的分类器均保持了强大的泛化性能，而未调整的模型性能显著下降。
• 在无数据分布偏移时（颜色具有预测性），反事实调整导致性能下降——证实其成功抑制了虚假相关性。
• 在偏移条件下，该方法在预测稳定性方面优于基于SMOTE的平衡方法，表明同时对训练和测试特征去混杂具有优势。
• 该方法计算开销轻量，仅需对预训练DNN特征进行线性回归拟合，无需重新训练DNN。
• 通过条件独立性模式进行的经验合理性检验确认，该调整实现了期望的统计特性，验证了其有效性。