[論文レビュー] FairTune: Optimizing Parameter Efficient Fine Tuning for Fairness in Medical Image Analysis

Raman Dutt, Ondrej Bohdal+2 more|arXiv (Cornell University)|Oct 8, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

FairTuneは、検証フェアネスを最大化するように最適なパラメータ効率の良い微調整（PEFT）マスクを選択することにより、医療画像解析におけるフェアネスを向上させる二段階最適化フレームワークを提案する。訓練時におけるフェアネスが完全でもテスト時にバイアスが生じる「フェアネス一般化ギャップ」に注目し、多様な医療画像ベンチマークにおいて、標準的な経験的リスク最小化（ERM）を上回る性能を発揮する。

ABSTRACT

Training models with robust group fairness properties is crucial in ethically sensitive application areas such as medical diagnosis. Despite the growing body of work aiming to minimise demographic bias in AI, this problem remains challenging. A key reason for this challenge is the fairness generalisation gap: High-capacity deep learning models can fit all training data nearly perfectly, and thus also exhibit perfect fairness during training. In this case, bias emerges only during testing when generalisation performance differs across subgroups. This motivates us to take a bi-level optimisation perspective on fair learning: Optimising the learning strategy based on validation fairness. Specifically, we consider the highly effective workflow of adapting pre-trained models to downstream medical imaging tasks using parameter-efficient fine-tuning (PEFT) techniques. There is a trade-off between updating more parameters, enabling a better fit to the task of interest vs. fewer parameters, potentially reducing the generalisation gap. To manage this tradeoff, we propose FairTune, a framework to optimise the choice of PEFT parameters with respect to fairness. We demonstrate empirically that FairTune leads to improved fairness on a range of medical imaging datasets. The code is available at https://github.com/Raman1121/FairTune

研究の動機と目的

• 訓練時には完全にフェアであるがテスト時にバイアスを示す医療AIにおけるフェアネス一般化ギャップを解消すること。
• 高容量のディープラーニングモデルでは効果を示さない訓練時制約に依存する既存のフェアネス対策の限界を克服すること。
• 微調整中に、フェアネスを促進するパラメータ更新マスクを最適化する手法を開発すること。
• 訓練性能ではなく検証性能に基づく正則化によって、フェアネスを向上させられることを示すこと。
• 事前学習モデルを用いた実世界の医療画像タスクに適用可能なスケーラブルで効率的なフレームワークを提供すること。

提案手法

• フェアネス学習を二段階最適化問題として定式化：検証データにおけるフェアネスを最大化するようにPEFT更新マスクを最適化する。
• パラメータ効率の良い微調整（PEFT）を用いて、更新パラメータ数を制限し、過学習および一般化ギャップを低減する。
• 微分可能探索機構を用いて、検証データにおけるフェアネス格差を最小化する最適なパラメータ更新マスクを同定する。
• 標準的なERM損失を用いてモデルを訓練するが、マスクによって更新可能なパラメータの部分集合に制限される。このマスクはフェアネス指向の最適化により選択される。
• 計算コストを削減しつつフェアネス性能を維持するため、代表的データサブセットを用いたハイパーパrameterサーチを実施する。
• 年齢、性別、皮膚タイプなどの保護属性ごとに、等価オッズや等価機会といった指標を用いてフェアネスを評価する。

Figure 1: Bias arises during train-test generalisation. Left (Training AUROC): High-capacity deep models can exhibit perfect group fairness during training because they can classify all the training data perfectly. Right (Validation AUROC): Bias arises because the disadvantaged subgroup has worse ge

実験結果

リサーチクエスチョン

• RQ1 訓練フェアネスではなく検証フェアネスに基づいてPEFT更新マスクを最適化することで、医療画像解析におけるフェアネスを向上させられるか？
• RQ2 訓練時には完全にフェアであるがテスト時にバイアスが生じる「フェアネス一般化ギャップ」は、高容量モデルに対しても依然として存在するか？
• RQ3 PEFTパラメータの二段階最適化により、多様な医療画像データセットで一貫したフェアネス向上が達成できるか？
• RQ4 複数の保護属性において、FairTuneは標準的なERM微調整と比較して、フェアネス指標で優れているか？
• RQ5 CheXpertのような大規模データセットに適用した場合、提案手法はスケーラブルで効果的か？

主な発見

• FairTuneは、Fitzpatrick17k、HAM10000、PAPILA、OL3I、OASIS、Harvard-GF3300、CheXpertを含む、評価されたすべての医療画像データセットで、等価オッズや等価機会といったフェアネス指標を一貫して向上させる。
• 既存のフェアネス対策がフェアネス一般化ギャップのため効果を示さない状況でも、FairTuneは標準的なERM微調整を上回るフェアネス性能を示す。
• 実験結果により、バイアスは訓練段階ではなくテスト時の一般化段階に現れることが確認され、本研究の核心的動機が裏付けられる。
• 例えばCheXpertの10%程度のサブセットを用いたハイパーパrameterサーチにより、全データセットにおけるフェアネス性能が維持されることから、スケーラビリティが裏付けられる。
• FairTuneは、全体の精度に影響を与えることなく、ERMよりも統計的に有意なフェアネス向上を達成しており、効果的なバイアス低減が可能であることが示される。
• 本フレームワークは、皮膚科画像、CT、MRI、レントゲン画像といった多様なモodalitiesおよび年齢、性別、皮膚タイプ、人種といった多様な感受性属性に対して、強固である。

Figure 2: Illustration that shows how our approach optimises the structure of PEFT with respect to fairness. Hyperparameter optimisation (HPO) selects a mask that decides which components of a pre-trained model $\theta$ are fine-tuned using PEFT. For each sampled mask, the fine-tuned model is evalua