[论文解读] Causality-aware counterfactual confounding adjustment as an alternative to linear residualization in anticausal prediction tasks based on linear learners

Elias Chaibub Neto|arXiv (Cornell University)|Nov 9, 2020

Bayesian Modeling and Causal Inference参考文献 26被引用 6

一句话总结

本文提出了一种因果感知的反事实混淆调整方法，作为在使用线性学习器的反因果预测任务中线性残差化方法的更优替代方案。通过生成消除混淆因子引起的虚假关联的反事实输入，该方法渐近地增强了特征与结果之间的协方差，从而在数据集分布发生变化时仍能实现更优的预测性能和更强的鲁棒性，即使真实数据生成过程为非线性。

ABSTRACT

Linear residualization is a common practice for confounding adjustment in machine learning (ML) applications. Recently, causality-aware predictive modeling has been proposed as an alternative causality-inspired approach for adjusting for confounders. The basic idea is to simulate counterfactual data that is free from the spurious associations generated by the observed confounders. In this paper, we compare the linear residualization approach against the causality-aware confounding adjustment in anticausal prediction tasks, and show that the causality-aware approach tends to (asymptotically) outperform the residualization adjustment in terms of predictive performance in linear learners. Importantly, our results still holds even when the true model is not linear. We illustrate our results in both regression and classification tasks, where we compared the causality-aware and residualization approaches using mean squared errors and classification accuracy in synthetic data experiments where the linear regression model is mispecified, as well as, when the linear model is correctly specified. Furthermore, we illustrate how the causality-aware approach is more stable than residualization with respect to dataset shifts in the joint distribution of the confounders and outcome variables.

研究动机与目标

• 解决在结果因果影响输入特征（即反因果任务）的机器学习应用中的混淆问题，例如在神经影像诊断中的应用。
• 比较线性残差化方法与一种因果感知的反事实混淆调整方法在预测性能上的差异。
• 评估两种方法在混淆因子与结果联合分布发生数据集分布变化时的稳定性。
• 证明即使底层数据生成模型为非线性，该因果感知方法仍能保持更优的性能。

提出的方法

• 该因果感知方法对每个输入变量同时对混淆因子和结果进行回归，然后通过将估计的残差加回到不包含混淆因子的预测器上，生成反事实输入。
• 这使得新特征消除了由混淆因子引起的虚假关联，同时保留了输入与结果之间的真正因果关系。
• 该方法使用线性模型来估计混淆因子的影响，随后通过残差进行反事实重构。
• 在合成数据上，通过回归任务的均方误差和分类任务的分类准确率来评估性能。
• 通过在测试集中改变混淆因子与结果的联合分布，测试方法在数据集分布变化下的稳定性。
• 理论分析表明，因果感知特征与结果之间的协方差在渐近意义上强于残差化特征。

实验结果

研究问题

• RQ1 在反因果线性预测任务中，因果感知的反事实混淆调整是否在预测准确率上优于线性残差化方法？
• RQ2 尽管采用线性调整，当真实数据生成模型为非线性时，因果感知方法的表现如何？
• RQ3 在混淆因子与结果变量的联合分布发生数据集分布变化时，因果感知方法是否比残差化方法更稳定？
• RQ4 在模型误设情况下，因果感知方法是否能保持比残差化更强的特征-结果协方差？

主要发现

• 因果感知方法在渐近意义上比线性残差化方法更显著地增强特征与结果之间的协方差，从而在使用线性学习器时带来更优的预测性能。
• 即使真实模型被错误地设定为线性，该方法在回归任务中的均方误差仍优于残差化方法。
• 在分类任务中，无论模型设定正确与否，因果感知方法的准确率均高于残差化方法。
• 在数据集分布变化下，因果感知方法表现出显著优于残差化方法的稳定性，尤其在混淆因子与结果的联合分布发生变化时。
• 即使真实数据生成过程为非线性，理论结果依然成立，表明该方法对模型误设具有鲁棒性。
• 1,000次重复实验的实证结果表明，因果感知方法在多样化测试分布下保持一致的性能表现，而残差化方法的性能在分布变化下明显下降。