[论文解读] FairTune: Optimizing Parameter Efficient Fine Tuning for Fairness in Medical Image Analysis

Raman Dutt, Ondrej Bohdal+2 more|arXiv (Cornell University)|Oct 8, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

FairTune 提出了一种双层优化框架，通过选择能最大化验证集公平性的最优参数高效微调（PEFT）掩码，来提升医学图像分析中的公平性。该方法针对‘公平性泛化差距’——即在训练时实现完美公平性但测试时仍出现偏差——的问题，相较于标准的经验风险最小化（ERM），在多种医学影像基准上表现更优。

ABSTRACT

Training models with robust group fairness properties is crucial in ethically sensitive application areas such as medical diagnosis. Despite the growing body of work aiming to minimise demographic bias in AI, this problem remains challenging. A key reason for this challenge is the fairness generalisation gap: High-capacity deep learning models can fit all training data nearly perfectly, and thus also exhibit perfect fairness during training. In this case, bias emerges only during testing when generalisation performance differs across subgroups. This motivates us to take a bi-level optimisation perspective on fair learning: Optimising the learning strategy based on validation fairness. Specifically, we consider the highly effective workflow of adapting pre-trained models to downstream medical imaging tasks using parameter-efficient fine-tuning (PEFT) techniques. There is a trade-off between updating more parameters, enabling a better fit to the task of interest vs. fewer parameters, potentially reducing the generalisation gap. To manage this tradeoff, we propose FairTune, a framework to optimise the choice of PEFT parameters with respect to fairness. We demonstrate empirically that FairTune leads to improved fairness on a range of medical imaging datasets. The code is available at https://github.com/Raman1121/FairTune

研究动机与目标

• 解决医学 AI 中的公平性泛化差距问题，即模型在训练时表现公平，但在测试时出现偏差。
• 克服现有公平性干预措施依赖训练时约束的局限性，这些方法在高容量深度模型上失效。
• 开发一种方法，通过在微调过程中选择最能促进公平性的参数更新掩码，来优化 PEFT。
• 证明可通过基于验证性能而非训练性能的正则化学习来提升公平性。
• 提供一种可扩展、高效的框架，适用于使用预训练模型的真实世界医学影像任务。

提出的方法

• 将公平学习形式化为双层优化问题：优化 PEFT 更新掩码，以最大化验证数据上的公平性。
• 使用参数高效微调（PEFT）限制更新参数的数量，减少过拟合和泛化差距。
• 应用可微搜索机制，识别在验证数据上最小化公平性差异的最优参数更新掩码。
• 使用标准 ERM 损失进行模型训练，但将掩码约束为仅更新通过公平性驱动优化选定的一小部分参数。
• 在代表性数据子集上进行超参数搜索，以降低计算成本，同时保持公平性表现。
• 使用等效奇偶性（equalized odds）和等效机会（equal opportunity）等指标，在受保护属性（如年龄、性别、皮肤类型）上评估公平性。

Figure 1: Bias arises during train-test generalisation. Left (Training AUROC): High-capacity deep models can exhibit perfect group fairness during training because they can classify all the training data perfectly. Right (Validation AUROC): Bias arises because the disadvantaged subgroup has worse ge

实验结果

研究问题

• RQ1 能否通过基于验证公平性而非训练公平性来优化 PEFT 更新掩码，从而在医学图像分析中提升公平性？
• RQ2 在高容量模型中，‘公平性泛化差距’——即在训练时实现完美公平性但测试时出现偏差——是否依然存在？
• RQ3 对 PEFT 参数进行双层优化是否能在多种医学影像数据集中实现一致的公平性提升？
• RQ4 FairTune 在多个受保护属性上的公平性指标方面，与标准 ERM 微调相比表现如何？
• RQ5 当应用于大规模数据集（如 CheXpert）时，所提出方法是否具备可扩展性和有效性？

主要发现

• FairTune 在所有评估的医学影像数据集（包括 Fitzpatrick17k、HAM10000、PAPILA、OL3I、OASIS、Harvard-GF3300 和 CheXpert）上均一致提升了公平性指标，如等效奇偶性和等效机会。
• 即使在现有公平性干预措施因公平性泛化差距而失效的情况下，该方法在公平性方面仍优于标准 ERM 微调。
• 实证结果证实，偏差出现在测试时的泛化阶段，而非训练阶段，验证了本文的核心动机。
• 使用子集进行超参数搜索（例如 CheXpert 的 10%）可在保持完整数据集公平性表现的同时，证明其可扩展性。
• FairTune 在不损害整体准确率的前提下，实现了相对于 ERM 的统计显著公平性提升，表明其有效缓解了偏差。
• 该框架在多种模态（皮肤科、CT、MRI、X光）和敏感属性（年龄、性别、皮肤类型、种族）上均表现出鲁棒性。

Figure 2: Illustration that shows how our approach optimises the structure of PEFT with respect to fairness. Hyperparameter optimisation (HPO) selects a mask that decides which components of a pre-trained model $\theta$ are fine-tuned using PEFT. For each sampled mask, the fine-tuned model is evalua