[论文解读] Diagnosing failures of fairness transfer across distribution shift in real-world medical settings

Jessica Schrouff, Natalie Harris+15 more|arXiv (Cornell University)|Feb 2, 2022

Explainable Artificial Intelligence (XAI)被引用 32

一句话总结

本文在联合因果框架中引入条件独立性检验，以诊断分布转移如何影响医疗保健领域的公平性转移，并在皮肤科和电子健康记录（EHR）数据上进行了演示，以指导缓解策略。

ABSTRACT

Diagnosing and mitigating changes in model fairness under distribution shift is an important component of the safe deployment of machine learning in healthcare settings. Importantly, the success of any mitigation strategy strongly depends on the structure of the shift. Despite this, there has been little discussion of how to empirically assess the structure of a distribution shift that one is encountering in practice. In this work, we adopt a causal framing to motivate conditional independence tests as a key tool for characterizing distribution shifts. Using our approach in two medical applications, we show that this knowledge can help diagnose failures of fairness transfer, including cases where real-world shifts are more complex than is often assumed in the literature. Based on these results, we discuss potential remedies at each step of the machine learning pipeline.

研究动机与目标

• 动机并量化分布转移如何影响医疗保健机器学习系统中的公平性转移。
• 提供一个实用的因果检验工具包，用于诊断源数据集到目标数据集的转移结构。
• 演示转移结构如何影响真实世界医疗任务中公平性缓解策略的有效性。

提出的方法

• 采用带有转移变量 S 的联合因果推断（JCI）框架来建模源环境与目标环境。
• 将应用表示为因果贝叶斯网络，并检验 S 对 A、X、Y 的直接效应，以识别转移箭头 S→A、S→X、S→Y。
• 使用带权平衡的条件独立性检验程序来控制因果父节点，并评估对每个变量 U∈{A,X,Y} 的 S→U。
• 提供算法步骤（算法1），计算重新加权的均值并进行自举基的t检验，以得到 H0: P(U|pa(U),S=0)=P(U|pa(U),S=1) 的 p 值。
• 通过皮肤病学和EHR案例研究验证该方法，以诊断复合转移并指导缓解选择。

实验结果

研究问题

• RQ1 源环境与目标环境之间的分布转移结构如何影响医疗保健领域机器学习模型的公平性转移？
• RQ2 在因果图中条件独立性检验能否识别哪些组成部分（A、X、Y）受到转移 S 的影响？
• RQ3 在现实世界医疗数据中基于经验观察到的转移结构，哪些缓解策略是合适的？
• RQ4 现实世界的转移倾向于简单（例如仅协变量转移）还是影响多个变量的复合转移？
• RQ5 转移结构洞察如何影响公平性后处理或其他缓解方法的有效性？

主要发现

• 现实世界医疗数据中的转移往往是复合的，同时影响敏感属性、协变量和标签。
• 在皮肤科中，年龄及其他属性显示直接转移（S→A）以及对标签（S→Y）和图像特征（S→X） 的直接转移，解释了公平性转移失败。
• 在EHR研究中，ICU病区类型转移（S）引起年龄、性别、共病、治疗和化验等方面的变化，表明这是一个削弱公平性转移的复合转移。
• 在源数据上进行后处理以强制实现人口统计平等或等机会相等可能在那里改进公平性指标，但在复合转移下可能会恶化目标数据的公平性。
• 基于已识别的转移结构的缓解在复合转移或标签转移下提供有限的保证，凸显了需要在整个ML管道中采取更广泛的解决方案。
• 作者讨论了在数据收集、结果定义与部署保障方面的实际建议，以在转移下更好地处理公平性。