[论文解读] Causality-based tests to detect the influence of confounders on mobile health diagnostic applications: a comparison with restricted permutations

Elias Chaibub Neto, Meghasyam Tummalacherla+2 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Causal Inference Techniques参考文献 15被引用 8

一句话总结

本文提出一种基于因果推断的方法，用于检测移动健康诊断模型中的混杂因素影响，提供了一种比受限置换更准确的替代方案。研究证明，除非不存在直接效应，否则受限置换会产生成偏倚的混杂因素效应估计；并通过mHealth数据表明，基于因果推断的检验方法在调整后检测残留混杂因素方面优于基于置换的方法。

ABSTRACT

Machine learning practice is often impacted by confounders. Confounding can be particularly severe in remote digital health studies where the participants self-select to enter the study. While many different confounding adjustment approaches have been proposed in the literature, most of these methods rely on modeling assumptions, and it is unclear how robust they are to violations of these assumptions. This realization has recently motivated the development of restricted permutation methods to quantify the influence of observed confounders on the predictive performance of a machine learning models and evaluate if confounding adjustment methods are working as expected. In this paper we show, nonetheless, that restricted permutations can generate biased estimates of the contribution of the confounders to the predictive performance of a learner, and we propose an alternative approach to tackle this problem. By viewing a classification task from a causality perspective, we are able to leverage conditional independence tests between predictions and test set labels and confounders in order to detect confounding on the predictive performance of a classifier. We illustrate the application of our causality-based approach to data collected from mHealth study in Parkinson's disease.

研究动机与目标

• 为解决移动健康诊断应用中的混杂问题，特别是在远程研究中由于自我选择导致的人口学变量引入偏倚的问题。
• 识别受限置换方法在评估混杂因素影响时的局限性，特别是当存在直接效应时，其倾向于产生偏倚估计。
• 开发并验证一种基于因果推断的方法，以准确量化混杂因素的贡献，且不依赖建模假设。
• 评估常见混杂因素调整技术（如匹配、IPW、残差化）在消除帕金森病mHealth数据中与年龄相关的信号方面的有效性。

提出的方法

• 使用因果图（如图1）对特征（X）、疾病状态（Y）、混杂因素（A）和直接效应（θXY）之间的关系进行建模，实现关联关系的正式分解。
• 应用Wright的路径分析推导协方差与因果效应之间的理论关系，表明 Eπ∗[Cov(X,Y∗)] = Cov(X,A)Cov(Y,A)/Var(A)。
• 提出一种基于因果推断的检验方法，通过相关性和距离相关性检验评估特征、疾病状态与混杂因素之间的条件独立性。
• 采用偏相关性和距离相关性检验，评估调整后模型是否仍保留混杂信号（例如，A ⊥⊥ Y | X）。
• 使用置换法获得p值（1,000次置换），并通过Bonferroni校正处理多重比较。
• 在mPower帕金森病数据上验证方法，比较无调整、匹配、近似IPW和特征残差化的效果。

实验结果

研究问题

• RQ1 当特征与疾病状态之间存在直接效应时，受限置换方法能否准确估计混杂因素对预测性能贡献的影响？
• RQ2 基于因果推断的方法是否能提供比受限置换更可靠、更无偏的混杂因素影响检测方法？
• RQ3 常见混杂因素调整方法（如匹配、IPW、残差化）在消除mHealth诊断模型中与年龄相关的信号方面效果如何？
• RQ4 条件独立性检验是否能检测到调整后仍存在的残留混杂因素，即使AUC值看起来有所改善？
• RQ5 为何特征残差化有时会提高AUC但同时增加与年龄的关联？这种人为效应如何被检测？

主要发现

• 受限置换会产生混杂因素影响的偏倚估计，因为 Eπ∗[Cov(X,Y∗)] = θXAθAY + θXYθAY²，而非真实的仅由混杂因素引起的贡献 θXAθYA。
• 基于因果推断的方法能正确识别混杂因素效应，并在受限置换失败时检测到残留混杂因素。
• 匹配方法成功消除了年龄与疾病状态之间的关联，CI检验仅在 H0: A ⊥⊥ Y | X 上未被拒绝。
• 近似IPW改善了平衡性，但未能完全消除年龄信号，距离相关性检验检测到非零关联（所有分割中p = 0.001）。
• 特征残差化产生了人为效应：原本重要性最低的四个特征在残差化后变为最重要，且与年龄的距离相关性显著增加（例如，特征23在残差化后相关性很高）。
• 残差化方法提高了AUC得分，但这是通过放大特征与年龄之间的关联实现的，表明高AUC可能掩盖残留混杂因素。