[论文解读] Counterfactual Reasoning for Fair Clinical Risk Prediction

Stephen Pfohl, Tony Duan+2 more|arXiv (Cornell University)|Jul 14, 2019

Machine Learning in Healthcare参考文献 47被引用 10

一句话总结

本文提出个体等化反事实奇偶性（individual equalized counterfactual odds），这是一种新颖的公平性准则，通过要求对敏感属性改变的反事实版本与真实患者保持一致预测，将群体公平性扩展至个体层面。利用变分自编码器（VAE）从电子健康记录（EHR）数据中生成反事实患者，该方法实现了对住院死亡率和住院时间延长的公平临床风险预测，尽管在公平性与预测性能之间观察到权衡，尤其是在死亡率预测中更为显著。

ABSTRACT

The use of machine learning systems to support decision making in healthcare raises questions as to what extent these systems may introduce or exacerbate disparities in care for historically underrepresented and mistreated groups, due to biases implicitly embedded in observational data in electronic health records. To address this problem in the context of clinical risk prediction models, we develop an augmented counterfactual fairness criteria to extend the group fairness criteria of equalized odds to an individual level. We do so by requiring that the same prediction be made for a patient, and a counterfactual patient resulting from changing a sensitive attribute, if the factual and counterfactual outcomes do not differ. We investigate the extent to which the augmented counterfactual fairness criteria may be applied to develop fair models for prolonged inpatient length of stay and mortality with observational electronic health records data. As the fairness criteria is ill-defined without knowledge of the data generating process, we use a variational autoencoder to perform counterfactual inference in the context of an assumed causal graph. While our technique provides a means to trade off maintenance of fairness with reduction in predictive performance in the context of a learned generative model, further work is needed to assess the generality of this approach.

研究动机与目标

• 解决基于有偏观察性EHR数据训练的临床风险预测模型中的个体层面公平性问题。
• 通过反事实推理，将群体公平性度量（如等化奇偶性）扩展至个体层面。
• 开发一种实用框架，用于评估和提升临床机器学习模型的公平性，而无需依赖已知的结构因果模型。
• 评估在真实世界EHR数据集中，公平性与预测性能之间的权衡。
• 探索在缺乏已知结构因果模型的情况下，使用变分自编码器进行公平性感知临床建模中反事实推理的可行性与局限性。

提出的方法

• 提出个体等化反事实奇偶性作为增强的公平性准则，要求对真实患者与敏感属性改变的反事实患者给出相同的预测，假设结果不发生变化。
• 使用变分自编码器（VAE）在因果图假设下生成反事实患者表征，实现在无需完整指定结构方程模型的情况下进行反事实推理。
• 将基于VAE的反事实采样应用于真实EHR数据，用于两个临床任务：住院死亡率预测和住院时间延长预测。
• 采用一种训练过程，同时优化预测性能和满足个体等化反事实奇偶性准则。
• 依赖VAE的潜在空间生成合理的反事实样本，假设模型足够准确地捕捉了潜在的数据生成过程，以支持公平性评估。
• 以敏感性分析和模拟研究为基础，为未来在模型不确定性下验证公平性主张提供支持。

实验结果

研究问题

• RQ1 反事实推理能否用于在临床风险预测模型中定义个体层面的公平性？
• RQ2 当真实数据生成过程未知时，如何在个体层面强制实现公平性？
• RQ3 在将反事实公平性准则应用于EHR数据时，预测性能与公平性之间存在何种权衡？
• RQ4 在缺乏已知结构因果模型的情况下，变分自编码器在多大程度上能可靠地生成用于公平性评估的反事实样本？
• RQ5 公平性与性能的权衡在不同临床任务（如死亡率预测与住院时间延长预测）之间有何差异？

主要发现

• 所提出的方法成功利用VAE采样的反事实样本，生成了符合个体等化反事实奇偶性的公平临床风险预测模型。
• 观察到公平性与预测性能之间存在显著权衡，尤其在住院死亡率预测中，公平性约束对模型性能的削弱更为明显。
• 基于VAE的方法在缺乏已知结构方程模型的情况下实现了反事实推理，但公平性仅在生成模型的语境内具有明确定义。
• 该方法表明，可在保持合理预测准确性的同时提升个体层面的公平性，尤其在住院时间延长预测任务中表现更优。
• 该方法对VAE生成建模的质量高度敏感；若VAE未能准确反映真实数据生成过程，公平性主张在现实中可能不成立。
• 未来研究需进一步验证在模型不确定性下的公平性，并探索敏感性分析以提升鲁棒性。