[论文解读] Evaluating the Fairness of Deep Learning Uncertainty Estimates in Medical Image Analysis

Raghav Mehta, Changjian Shui+1 more|arXiv (Cornell University)|Mar 6, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本文通过考察数据平衡和分布鲁棒优化等流行公平性方法对不同人口统计子群体在医学图像分析中模型性能和不确定性校准的影响，评估了深度学习不确定性估计的公平性。结果表明，尽管这些方法提升了预测准确性的公平性，但往往导致不确定性估计质量下降，揭示了一个必须解决的关键权衡，以确保临床可信度。

ABSTRACT

Although deep learning (DL) models have shown great success in many medical image analysis tasks, deployment of the resulting models into real clinical contexts requires: (1) that they exhibit robustness and fairness across different sub-populations, and (2) that the confidence in DL model predictions be accurately expressed in the form of uncertainties. Unfortunately, recent studies have indeed shown significant biases in DL models across demographic subgroups (e.g., race, sex, age) in the context of medical image analysis, indicating a lack of fairness in the models. Although several methods have been proposed in the ML literature to mitigate a lack of fairness in DL models, they focus entirely on the absolute performance between groups without considering their effect on uncertainty estimation. In this work, we present the first exploration of the effect of popular fairness models on overcoming biases across subgroups in medical image analysis in terms of bottom-line performance, and their effects on uncertainty quantification. We perform extensive experiments on three different clinically relevant tasks: (i) skin lesion classification, (ii) brain tumour segmentation, and (iii) Alzheimer's disease clinical score regression. Our results indicate that popular ML methods, such as data-balancing and distributionally robust optimization, succeed in mitigating fairness issues in terms of the model performances for some of the tasks. However, this can come at the cost of poor uncertainty estimates associated with the model predictions. This tradeoff must be mitigated if fairness models are to be adopted in medical image analysis.

研究动机与目标

• 调查经过公平性优化的深度学习模型在医学图像分析中是否能在不同人口统计子群体间保持可靠的不确定性估计。
• 评估公平性技术（如数据重加权和分布鲁棒优化）对不确定性量化的影响。
• 识别模型性能公平性提升与不确定性校准退化之间的潜在权衡。
• 提供使用公平性感知模型进行医学影像临床部署的实证证据。

提出的方法

• 作者在三个医学影像任务上评估公平性与不确定性：皮肤病变分类、脑肿瘤分割和阿尔茨海默病临床评分回归。
• 他们应用公平性感知的训练方法，包括数据重加权、类别平衡和分布鲁棒优化（DRO），以减轻人口统计偏差。
• 通过蒙特卡洛 dropout 生成不确定性估计，并使用温度缩放进行校准，以评估不同子群体中的可靠性。
• 使用准确率、AUC 和预期校准误差（ECE）等指标，在按种族、性别和年龄划分的子群体中评估性能和不确定性校准。
• 通过比较子群体间的模型行为，量化预测和不确定性估计中的公平性。
• 实验在具有多样化人口分布的公开数据集上进行，以确保临床相关性。

实验结果

研究问题

• RQ1 公平性感知的训练方法如何影响医学图像分析中深度学习模型的不确定性校准？
• RQ2 数据平衡和分布鲁棒优化在多大程度上减少了不同人口统计子群体间的性能差异？
• RQ3 提升模型预测的公平性是否会导致更可靠的不确定性估计，还是反而使其恶化？
• RQ4 在不同的医学影像任务中，预测公平性与不确定性估计可靠性之间是否存在一致的权衡？
• RQ5 公平性优化的模型能否在多样化患者子群体中保持可信的不确定性估计？

主要发现

• 数据平衡和分布鲁棒优化方法在皮肤病变分类和脑肿瘤分割任务中成功减少了不同人口统计子群体间的性能差异。
• 尽管预测准确性的公平性得到改善，但这些方法往往导致不确定性校准变差，表现为预期校准误差（ECE）升高。
• 在阿尔茨海默病临床评分回归任务中，公平性改善有限，且在公平性约束下不确定性估计显著恶化。
• 在所有三项任务中，预测公平性与不确定性估计可靠性之间的权衡均一致出现。
• 采用公平性目标训练的模型表现出不确定性校准能力下降，表明临床医生可能对代表性不足子群体的预测产生过度信任。
• 本研究强调，仅在性能上实现公平性不足以支持临床部署，还需同步确保不确定性估计的可靠性。