[논문 리뷰] Evaluating the Fairness of Deep Learning Uncertainty Estimates in Medical Image Analysis

Raghav Mehta, Changjian Shui외 1명|arXiv (Cornell University)|2023. 03. 06.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 피부 병변 분류, 뇌 종양 세분화, 알츠하이머병 임상 점수 회귀와 같은 세 가지 의료 영상 작업을 대상으로, 데이터 밸런싱 및 분포로 불안정성 최적화(DRO)와 같은 인기 있는 공정성 기법이 인구 통계적 하위군 간 모델 성능과 불확실성 캘리브레이션에 미치는 영향을 분석함으로써 딥러닝의 불확실성 추정의 공정성을 평가한다. 결과적으로 이러한 기법들은 예측 정확성의 공정성을 향상시키지만, 종종 불확실성 추정을 악화시켜 임상적 신뢰성 확보를 위해 해결해야 할 핵심적인 상충관계를 드러낸다.

ABSTRACT

Although deep learning (DL) models have shown great success in many medical image analysis tasks, deployment of the resulting models into real clinical contexts requires: (1) that they exhibit robustness and fairness across different sub-populations, and (2) that the confidence in DL model predictions be accurately expressed in the form of uncertainties. Unfortunately, recent studies have indeed shown significant biases in DL models across demographic subgroups (e.g., race, sex, age) in the context of medical image analysis, indicating a lack of fairness in the models. Although several methods have been proposed in the ML literature to mitigate a lack of fairness in DL models, they focus entirely on the absolute performance between groups without considering their effect on uncertainty estimation. In this work, we present the first exploration of the effect of popular fairness models on overcoming biases across subgroups in medical image analysis in terms of bottom-line performance, and their effects on uncertainty quantification. We perform extensive experiments on three different clinically relevant tasks: (i) skin lesion classification, (ii) brain tumour segmentation, and (iii) Alzheimer's disease clinical score regression. Our results indicate that popular ML methods, such as data-balancing and distributionally robust optimization, succeed in mitigating fairness issues in terms of the model performances for some of the tasks. However, this can come at the cost of poor uncertainty estimates associated with the model predictions. This tradeoff must be mitigated if fairness models are to be adopted in medical image analysis.

연구 동기 및 목표

• 의료 영상 분석에서 공정성 최적화된 딥러닝 모델이 인구 통계적 하위군 간 신뢰할 수 있는 불확실성 추정을 유지하는지 조사하는 것.
• 데이터 밸런싱 및 분포로 불안정성 최적화와 같은 공정성 기법이 불확실성 정량화에 미치는 영향을 평가하는 것.
• 모델 성능의 향상된 공정성과 악화된 불확실성 캘리브레이션 간 잠재적인 상충관계를 규명하는 것.
• 의료 영상에서 공정성 인식 모델을 사용할 경우 임상적 영향에 대한 실증적 증거를 제공하는 것.

제안 방법

• 저자들은 피부 병변 분류, 뇌 종양 세분화, 알츠하이머병 임상 점수 회귀와 같은 세 가지 의료 영상 작업에서 공정성과 불확실성의 평가를 수행한다.
• 인구 통계적 편향을 줄이기 위해 데이터 재가중, 클래스 밸런싱, 분포로 불안정성 최적화(DRO)와 같은 공정성 인식 학습 방법을 적용한다.
• 불확실성 추정은 몬테카를로 드롭아웃을 사용하고, 캘리브레이션은 온도 스케일링을 통해 하위군 간 신뢰성 평가를 수행한다.
• 성능 및 불확실성 캘리브레이션 평가에 정확도, AUC, 기대 캘리브레이션 오차(ECE) 등의 지표를 사용하며, 인종, 성별, 연령으로 정의된 하위군 간 분석을 수행한다.
• 예측 및 불확실성 추정에서의 공정성 정도를 정량화하기 위해 하위군 간 모델 행동을 비교 분석한다.
• 임상적 관련성을 확보하기 위해 다양한 인구 통계 분포를 가진 공개 데이터셋을 사용해 실험을 수행한다.

실험 결과

연구 질문

• RQ1 공정성 인식 학습 기법은 의료 영상 분석을 위한 딥러닝 모델의 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ2 데이터 밸런싱 및 분포로 불안정성 최적화는 인구 통계적 하위군 간 성능 격차를 어느 정도 줄이는가?
• RQ3 모델 예측의 공정성 향상은 더 신뢰할 수 있는 불확실성 추정을 이끌어내는가, 아니면 그 반대인가?
• RQ4 다양한 의료 영상 작업 간에 예측의 공정성과 불확실성 추정의 신뢰성 간 일관된 상충관계가 존재하는가?
• RQ5 공정성 최적화된 모델은 다양한 환자 하위군 간에 신뢰할 수 있는 불확실성 추정을 유지할 수 있는가?

주요 결과

• 데이터 밸런싱 및 분포로 불안정성 최적화 기법은 피부 병변 분류 및 뇌 종양 세분화 작업에서 인구 통계적 하위군 간 성능 격차를 성공적으로 감소시킨다.
• 예측 정확성의 공정성 향상에도 불구하고, 이러한 기법들은 기대 캘리브레이션 오차(ECE)가 높아지는 것으로 측정되어 불확실성 캘리브레이션이 악화되는 경우가 빈번히 발생한다.
• 알츠하이머병 임상 점수 회귀 작업에서는 공정성 향상이 제한적이었고, 공정성 제약 하에서 불확실성 추정이 심각하게 악화되었다.
• 이러한 상충관계는 세 가지 작업 전반에서 일관되게 관찰되었다.
• 공정성 목표를 가진 모델은 불확실성 캘리브레이션이 떨어져, 소수 집단에 대해 임상의가 과도하게 신뢰할 수 있는 예측을 내릴 수 있음을 시사한다.
• 연구는 성능의 공정성만으로는 임상적 배포에 충분하지 않으며, 동시에 불확실성 추정의 신뢰성 확보가 동반되어야 함을 강조한다.