[論文レビュー] Evaluating the Fairness of Deep Learning Uncertainty Estimates in Medical Image Analysis

Raghav Mehta, Changjian Shui+1 more|arXiv (Cornell University)|Mar 6, 2023

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本論文は、皮膚腫瘍分類、脳腫瘍セグメンテーション、アルツハイマー病の臨床スコア回帰という3つの医療画像解析タスクにおいて、データバランス化や分布的に頑健な最適化（DRO）などの一般的な公平性手法が、人種、性別、年齢などのデモグラフィックサブグループにおけるモデルのパフォーマンスと不確実性のキャリブレーションにどのように影響するかを検証することで、深層学習の不確実性推定の公平性を評価している。結果として、これらの手法は予測精度の公平性を向上させるが、不確実性推定を劣化させる傾向にあり、臨床的信頼性を確保するにはこの重要なトレードオフを解消しなければならないことが示された。

ABSTRACT

Although deep learning (DL) models have shown great success in many medical image analysis tasks, deployment of the resulting models into real clinical contexts requires: (1) that they exhibit robustness and fairness across different sub-populations, and (2) that the confidence in DL model predictions be accurately expressed in the form of uncertainties. Unfortunately, recent studies have indeed shown significant biases in DL models across demographic subgroups (e.g., race, sex, age) in the context of medical image analysis, indicating a lack of fairness in the models. Although several methods have been proposed in the ML literature to mitigate a lack of fairness in DL models, they focus entirely on the absolute performance between groups without considering their effect on uncertainty estimation. In this work, we present the first exploration of the effect of popular fairness models on overcoming biases across subgroups in medical image analysis in terms of bottom-line performance, and their effects on uncertainty quantification. We perform extensive experiments on three different clinically relevant tasks: (i) skin lesion classification, (ii) brain tumour segmentation, and (iii) Alzheimer's disease clinical score regression. Our results indicate that popular ML methods, such as data-balancing and distributionally robust optimization, succeed in mitigating fairness issues in terms of the model performances for some of the tasks. However, this can come at the cost of poor uncertainty estimates associated with the model predictions. This tradeoff must be mitigated if fairness models are to be adopted in medical image analysis.

研究の動機と目的

• 公平性最適化された深層学習モデルが、医療画像解析におけるデモグラフィックサブグループにわたって信頼できる不確実性推定を維持するかどうかを調査すること。
• データリバランスや分布的に頑健な最適化（DRO）などの公平性技術が、不確実性の定量化に与える影響を評価すること。
• モデルパフォーマンスの公平性向上と不確実性キャリブレーションの劣化との間の潜在的なトレードオフを同定すること。
• 公平性に配慮したモデルを医療画像診断に使用する際の臨床的影響についての実証的証拠を提供すること。

提案手法

• 著者らは、皮膚腫瘍分類、脳腫瘍セグメンテーション、アルツハイマー病の臨床スコア回帰という3つの医療画像処理タスクにおいて、公平性と不確実性を評価した。
• 人種的バイアスを軽減するために、データリウェート、クラスバランス、分布的に頑健な最適化（DRO）などの公平性に配慮したトレーニング手法を適用した。
• 不確実性推定はモンテカルロドロップアウトを用い、温度スケーリングを用いてキャリブレーションすることで、サブグループごとの信頼性を評価した。
• パフォーマンスと不確実性キャリブレーションは、人種、性別、年齢で定義されるサブグループを対象に、正確性、AUC、期待キャリブレーション誤差（ECE）などの指標を用いて評価した。
• 予測と不確実性推定の両面における公平性を数量化するために、サブグループ間でのモデル行動を比較した。
• 臨床的関連性を確保するため、多様なデモグラフィック分布を持つ公開データセットを用いて実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 公平性に配慮したトレーニング手法は、医療画像解析用の深層学習モデルにおける不確実性キャリブレーションにどのように影響するか？
• RQ2 データリバランスや分布的に頑健な最適化は、デモグラフィックサブグループ間のパフォーマンス格差をどの程度低減するか？
• RQ3 モデル予測の公平性を向上させることは、より信頼できる不確実性推定をもたらすのか、それとも劣化させるのか？
• RQ4 異なる医療画像処理タスクにおいて、予測の公平性と不確実性推定の信頼性の間には一貫したトレードオフが存在するか？
• RQ5 公平性最適化されたモデルは、多様な患者サブグループにわたって信頼できる不確実性推定を維持できるか？

主な発見

• データリバランスや分布的に頑健な最適化手法は、皮膚腫瘍分類と脳腫瘍セグメンテーションにおいて、デモグラフィックサブグループ間のパフォーマンス格差を有意に低減した。
• 予測精度の公平性が向上したにもかかわらず、これらの手法は期待キャリブレーション誤差（ECE）が高くなることから、不確実性キャリブレーションが悪化する傾向にあった。
• アルツハイマー病の臨床スコア回帰タスクでは、公平性の向上が限定的であり、公平性制約下で不確実性推定が著しく劣化した。
• すべての3つのタスクにおいて、予測の公平性と不確実性推定の信頼性の間のトレードオフが一貫して観察された。
• 公平性を目的としたトレーニングにより、不確実性キャリブレーションが低下したため、臨床現場では、代表が不足しているサブグループの予測に対して不適切に高い信頼を置く可能性がある。
• 本研究は、不確実性推定の信頼性が同時に確保されない限り、パフォーマンスの公平性だけでは臨床的導入には不十分であることを強調している。