[论文解读] MEDFAIR: Benchmarking Fairness for Medical Imaging

Yongshuo Zong, Yongxin Yang+1 more|arXiv (Cornell University)|Oct 4, 2022

Artificial Intelligence in Healthcare and Education被引用 15

一句话总结

MEDFAIR 引入了一个全面的基准框架，用于评估医学影像人工智能中的公平性，标准化了11种算法、10个数据集以及在分布内和分布外设置下的3种模型选择标准。研究发现，模型选择策略对公平性结果有显著影响，且最先进去偏方法并未始终优于经验风险最小化（ERM），这挑战了关于算法优越性的既有假设。

ABSTRACT

A multitude of work has shown that machine learning-based medical diagnosis systems can be biased against certain subgroups of people. This has motivated a growing number of bias mitigation algorithms that aim to address fairness issues in machine learning. However, it is difficult to compare their effectiveness in medical imaging for two reasons. First, there is little consensus on the criteria to assess fairness. Second, existing bias mitigation algorithms are developed under different settings, e.g., datasets, model selection strategies, backbones, and fairness metrics, making a direct comparison and evaluation based on existing results impossible. In this work, we introduce MEDFAIR, a framework to benchmark the fairness of machine learning models for medical imaging. MEDFAIR covers eleven algorithms from various categories, nine datasets from different imaging modalities, and three model selection criteria. Through extensive experiments, we find that the under-studied issue of model selection criterion can have a significant impact on fairness outcomes; while in contrast, state-of-the-art bias mitigation algorithms do not significantly improve fairness outcomes over empirical risk minimization (ERM) in both in-distribution and out-of-distribution settings. We evaluate fairness from various perspectives and make recommendations for different medical application scenarios that require different ethical principles. Our framework provides a reproducible and easy-to-use entry point for the development and evaluation of future bias mitigation algorithms in deep learning. Code is available at https://github.com/ys-zong/MEDFAIR.

研究动机与目标

• 解决由于度量标准、数据集和实验设计不一致，导致医学影像人工智能中公平性评估缺乏标准化的问题。
• 识别并量化模型选择标准（如早停法和超参数调优）对公平性结果的影响。
• 在多样化医学影像数据集和敏感属性（种族、性别、年龄、交叉群体）上，评估11种公平性算法的有效性。
• 在分布内和分布外设置下评估公平性，以反映现实世界部署中的挑战。
• 基于伦理原则和应用特定需求，提出可操作的医学人工智能公平性改进建议。

提出的方法

• 设计一个统一的基准框架（MEDFAIR），标准化11种公平性算法、10个医学影像数据集以及3种模型选择策略的评估。
• 应用多种公平性度量：群体公平性（如准确率差距）、个体公平性以及反事实公平性，涵盖种族、性别和年龄等敏感属性。
• 实施三种模型选择标准：基于验证损失的早停法、基于验证集准确率的策略，以及一种公平性感知标准，以隔离其影响。
• 在分布内（相同领域）和分布外（领域偏移）设置下进行实验，以测试鲁棒性。
• 使用多种成像模态，包括X光、CT、MRI和皮肤镜成像，以确保广泛适用性。
• 标准化数据预处理、模型主干网络（如ResNet）和训练协议，以实现不同算法之间的公平比较。

实验结果

研究问题

• RQ1 模型选择策略（如早停法、超参数调优）的选择如何影响医学影像模型的公平性结果？
• RQ2 在多样化数据集和敏感属性上，最先进公平性算法是否始终优于经验风险最小化（ERM）？
• RQ3 在现实世界医学影像部署中，公平性表现如何在分布内和分布外设置之间变化？
• RQ4 哪些公平性定义（如群体、个体、反事实）在临床应用中能产生最稳健且符合伦理的结果？
• RQ5 在大规模数据集（如MIMIC-CXR）中，不同公平性算法在交叉子群体（如年长的非白人女性）中的性能与公平性权衡如何？

主要发现

• 模型选择策略对公平性结果有显著影响，且常被低估，即使使用相同算法，不同标准也会导致截然不同的公平性结果。
• SWAD（一种领域泛化方法）在所有数据集和公平性度量中均表现最佳，表明其对多样化混淆因子具有强鲁棒性。
• 在 MIMIC-CXR 数据集中，交叉子群体（如年长的非白人女性）在 ERM 下的公平性差距最高达 18.92%，凸显了严重的不平等。
• 尽管投入了大量努力，但没有任何一种最先进公平性算法在公平性度量上显著优于 ERM，尤其在分布外设置下，这削弱了其优越性的普遍宣称。
• 针对与年龄相关的子群体（如80岁以上人群），性能差距达到 5.32%（ERM）和 6.99%（Subgroup-R），表明年龄偏见尤其难以缓解。
• 研究发现，公平性提升往往以整体模型效用下降为代价，这在临床部署中引发了关于有利性与非伤害性的伦理担忧。