[논문 리뷰] Towards unraveling calibration biases in medical image analysis

María Agustina Ricci Lara, Candelaria Mosquera외 2명|arXiv (Cornell University)|2023. 05. 09.

Cutaneous Melanoma Detection and Management인용 수 5

한 줄 요약

이 논문은 피부 병변 분류를 위한 AI 모델에서의 校정 편향을 조사하며, 일반적으로 사용되는 校정 평가 지표인 기대 캘리브레이션 오차(Expected Calibration Error, ECE)가 특히 밝은 피부색과 어두운 피부색 환자 간의 표본 수 불균형으로 인해 체계적으로 편향됨을 밝혀냈다. 연구는 이러한 편향이 잘못된 공정성 평가를 초래할 수 있음을 보여주며, 저자원 그룹에서 신뢰할 수 있는 공정성 감사 보장을 위해 강건한 지표인 델타-브리어(Delta-Brier) 또는 델타-CE(Delta-CE)를 사용할 것을 권장한다.

ABSTRACT

In recent years the development of artificial intelligence (AI) systems for automated medical image analysis has gained enormous momentum. At the same time, a large body of work has shown that AI systems can systematically and unfairly discriminate against certain populations in various application scenarios. These two facts have motivated the emergence of algorithmic fairness studies in this field. Most research on healthcare algorithmic fairness to date has focused on the assessment of biases in terms of classical discrimination metrics such as AUC and accuracy. Potential biases in terms of model calibration, however, have only recently begun to be evaluated. This is especially important when working with clinical decision support systems, as predictive uncertainty is key for health professionals to optimally evaluate and combine multiple sources of information. In this work we study discrimination and calibration biases in models trained for automatic detection of malignant dermatological conditions from skin lesions images. Importantly, we show how several typically employed calibration metrics are systematically biased with respect to sample sizes, and how this can lead to erroneous fairness analysis if not taken into consideration. This is of particular relevance to fairness studies, where data imbalance results in drastic sample size differences between demographic sub-groups, which, if not taken into account, can act as confounders.

연구 동기 및 목표

• 인간 피부 병변 영상 분석에서 인구 통계적 하위군 간 표본 수 불균형이 校정 지표의 신뢰성에 미치는 영향을 조사하는 것.
• 표본 수 불균형이 존재하는 상황에서 일반적으로 사용되는 校정 지표인 기대 캘리브레이션 오차(Expected Calibration Error, ECE)가 오해를 불러일으킬 수 있는 공정성 평가를 초래하는지 평가하는 것.
• 유한한 표본 크기에 덜 민감한 校정 지표를 특정하여, 소수자 그룹에서 더 정확한 공정성 감사를 가능하게 하는 데 목적이 있다.
• 모델의 校정 품질과 표본 수 불균형 간의 상호작용이 공정성 평가에 어떻게 영향을 주는지 평가하는 것.
• 포괄적인 데이터셋과 강건한 校정 지표를 통해 피부과 영상 분석 분야에서 공정한 AI를 확보하기 위한 주장

제안 방법

• 실제 피부과 데이터셋에서 피부 톤 하위군 간 불균형이 있는 피부 병변 분류 모델을 학습하고, 여러 가지 校정 지표(예: ECE, Brier Score, Delta-Brier, Delta-CE)를 평가하였다.
• 통제 실험과 실제 데이터를 사용하여 밝은 피부색 환자와 어두운 피부색 환자 그룹 간 표본 수 차이에 따른 각 지표의 민감도를 분석하였다.
• PAD-UFES-20 데이터셋(1,494장의 이미지 및 피츠패트릭 피부 유형 레이블 포함)을 사용하여 인구 통계적 하위군 간 공정성 평가를 수행하였다.
• 표본 수 불균형을 완화하기 위해 표본 재조정 전략과 강건한 지표 전략을 비교 분석하였다.
• 모델 재 校정 이후에도 표본 수에 대한 민감도와 모델의 校정 품질 간 상호작용을 조사하였다.
• 校정 지표에 대한 이중 구성 해석을 제안함: 하나는 유한한 표본 크기 효과에 의해 영향을 받는 것이고, 다른 하나는 실제 모델의 校정 오류를 반영하는 것

(A)

실험 결과

연구 질문

• RQ1 피부과 영상 분석에서 인구 통계적 하위군 간 극심한 표본 수 불균형이 발생할 경우 공통적으로 사용되는 校정 지표는 어떻게 행동하는가?
• RQ2 기대 캘리브레이션 오차(Expected Calibration Error, ECE)와 같은 지표가 유한한 표본 크기 효과로 인해 얼마나 잘못된 공정성 결론을 도출할 수 있는가?
• RQ3 표본 수 차이에 덜 민감하고 따라서 저자원 하위군에서의 공정성 감사에 더 적합한 校정 지표는 무엇인가?
• RQ4 모델 재 校정이 校정 지표의 표본 수 불균형에 대한 민감도에 어떤 영향을 미치는가?
• RQ5 델타-브리어(Delta-Brier)나 델타-CE(Delta-CE)와 같은 강건한 지표가 불균형한 의료 영상 데이터셋에서 더 신뢰할 수 있는 공정성 평가를 제공할 수 있는가?

주요 결과

• 기대 캘리브레이션 오차(Expected Calibration Error, ECE)와 같은 공통적인 校정 지표는 표본 수에 매우 민감하며, 표본 수가 적어질수록 체계적으로 악화되어 공정성 평가에 편향을 초래한다.
• 연구는 표본 수 효과가 가장 두드러진 모델, 특히 재 校정 후에 표본 수 효과가 지배적인 잘 校정된 모델에서 校정 지표의 편향이 가장 심각하다고 발견하였다.
• 델타-브리어(Delta-Brier) 및 델타-CE(Delta-CE)와 같은 지표는 표본 수에 덜 민감하며, 따라서 소수자 그룹에서의 공정성 감사에 더 신뢰할 수 있다.
• 판별 성능(예: AUC 또는 정확도)에 유의미한 차이가 없음에도 불구하고, 지표의 편향으로 인해 校정 편차가 발생할 수 있으며, 이는 실제 모델의 편향이 아닌 지표의 편향 때문일 수 있다.
• 모델의 校정 품질과 표본 수 불균형 간의 상호작용은 지표에 이중 구성 행동을 유도한다: 하나는 유한한 표본 크기 효과에 의해 영향을 받고, 다른 하나는 실제 모델의 校정 오류를 반영한다.
• 특히 어두운 피부색 환자에 대한 레이블이 부족한 오픈 데이터베이스의 문제로, 강건한 공정성 평가 수행 능력이 제한되어 있으며, 이는 포괄적인 데이터셋이 필요함을 시사한다.

(B)