[논문 리뷰] Evaluating Deep Neural Networks Trained on Clinical Images in Dermatology with the Fitzpatrick 17k Dataset

Matthew Groh, Caleb Harris외 6명|arXiv (Cornell University)|2021. 04. 20.

Cutaneous Melanoma Detection and Management인용 수 7

한 줄 요약

이 논문은 피부 색소에 따라 분류된 16,577장의 임상 피부과 영상으로 구성된 Fitzpatrick 17k 데이터셋을 소개한다. 이 데이터셋은 어두운 피부 색소를 가진 환자에 대한 AI 기반 피부과 진단의 정확도 향상을 위해 개발되었으며, 주로 밝은 피부 색소에서 훈련된 모델은 어두운 피부 색소에서 유의미하게 낮은 정확도를 보이며, 데이터셋 편향으로 인해 AI 기반 피부과 진단에서 심각한 격차를 드러낸다.

ABSTRACT

How does the accuracy of deep neural network models trained to classify clinical images of skin conditions vary across skin color? While recent studies demonstrate computer vision models can serve as a useful decision support tool in healthcare and provide dermatologist-level classification on a number of specific tasks, darker skin is underrepresented in the data. Most publicly available data sets do not include Fitzpatrick skin type labels. We annotate 16,577 clinical images sourced from two dermatology atlases with Fitzpatrick skin type labels and open-source these annotations. Based on these labels, we find that there are significantly more images of light skin types than dark skin types in this dataset. We train a deep neural network model to classify 114 skin conditions and find that the model is most accurate on skin types similar to those it was trained on. In addition, we evaluate how an algorithmic approach to identifying skin tones, individual typology angle, compares with Fitzpatrick skin type labels annotated by a team of human labelers.

연구 동기 및 목표

• 공개된 피부과 영상 데이터셋에서 피부 색소 레이블의 부족, 특히 부족한 어두은 피부 색소에 대한 문제를 해결하기 위해.
• 최근에 레이블이 추가된 데이터셋을 사용하여 피부 질환 분류의 정확도가 Fitzpatrick 피부 색소에 따라 어떻게 달라지는지 조사하기 위해.
• 인간 레이블러가 제공한 Fitzpatrick 피부 색소 레이블과 Individual Typology Angle(ITA)를 이용한 자동 피부 톤 추정 간의 성능을 비교하기 위해.
• 불균형한 피부과 영상 데이터로 훈련된 딥 뉴럴 네트워크 모델에서의 정확도 격차를 폭 드러내고 정량화하기 위해.
• 피부 색소 하위군 간의 편향에 대한 실증적 평가를 가능하게 함으로써, AI 기반 피부과 진단의 공정성과 투명성을 증진하기 위해.

제안 방법

• 두 개의 오픈 애슬라스( DermaAmin 및 Atlas Dermatologico)에서 유래한 16,577장의 임상 피부과 영상에 인간 레이블러 팀을 통해 Fitzpatrick 피부 색소 레이블을 추가로 레이블링하였다.
• ImageNet에서 미리 훈련된 VGG-16 아키텍처를 미세조정한 딥 뉴럴 네트워크를 사용하여 114종의 피부 질환을 영상 데이터만으로 분류하도록 훈련시켰다.
• 훈련 데이터 분포에 따라 Fitzpatrick 피부 색소별로 모델 성능을 평가하여 정확도 격차를 측정하였다.
• RGB 값에서 Individual Typology Angle(ITA)를 계산하기 위해 다음 공식을 사용하였다: $ ITA = \tan^{-1} \left( \frac{B - Y}{R - Y} \right) \times \frac{180}{\pi} $, 여기서 R, G, B는 RGB 값이고 Y는 밝기이다.
• ITA 점수를 Fitzpatrick 피부 색소로 매핑하기 위해 두 가지 임계값 기반 방법을 사용하였다: Kinyanjui 등(2017)의 방법과 분류 오차를 최소화하는 데 기반한 경험적 방법(식 15).
• 두 명의 자격을 갖춘 피부과 전문의가 무작위로 선정된 3% 샘플(504장의 영상)을 평가하여 데이터 품질 점검을 실시하였으며, 표준 기준과 일치하는 3.4%의 오류율을 확인하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 피부과 영상 분류 정확도는 다양한 Fitzpatrick 피부 색소에서 어떻게 달라지는가?
• RQ2 훈련 데이터셋의 데이터 불균형으로 인해 모델 성능이 밝은 피부 색소에 대해 얼마나 편향되어 있는가?
• RQ3 Individual Typology Angle(ITA) 알고리즘은 다양한 피부 톤에서 인간 레이블러가 제공한 Fitzpatrick 피부 색소 레이블과 얼마나 잘 일치하는가?
• RQ4 임상 피부과 영상에서 전문가가 레이블링한 레이블과 비교했을 때, ITA 기반 피부 톤 추정의 실증적 오류율은 얼마인가?
• RQ5 Fitzpatrick 17k 데이터셋은 AI 모델의 공정성과 편향 평가를 위한 벤치마크로 활용될 수 있는가?

주요 결과

• Fitzpatrick 17k 데이터셋은 Fitzpatrick 피부 색소 1형과 2형의 영상이 5형과 6형보다 3.6배 많아 어두운 피부 색소의 심각한 부족함을 드러낸다.
• 딥 뉴럴 네트워크 모델은 피부 질환 분류에서 높은 정확도를 달성했지만, 어두운 Fitzpatrick 피부 색소에서 성능이著적으로 떨어졌으며, 5형과 6형에서는 1형과 2형에 비해 정확도가 크게 감소하였다.
• 인간 레이블러가 제공한 Fitzpatrick 피부 색소 레이블과 ITA 점수 간의 일치율은 Kinyanjui 임계값을 사용할 경우 45.87%에서 78.21%까지, 경험적 임계값을 사용할 경우 60.34%에서 82.26%까지로, 자동 피부 톤 추정의 상당한 오류를 시사한다.
• 가장 정확한 ITA 기반 분류는 전체 데이터셋의 약 1/3에서 Fitzpatrick 수준보다 1 이상의 오차를 보이며, ITA를 피부 톤 레이블링에 의존하는 데에는 한계가 있음을 강조한다.
• 모델의 정확도는 훈련 데이터에 가장 유사한 피부 색소에서 가장 높았으며, 이는 데이터 분포가 모델 편향과 성능 이질성에 직접적인 영향을 미친다는 것을 확인한다.
• 본 연구는 피부과 영상 컬렉션의 데이터셋 편향이 AI 모델 성능에 측정 가능한 격차를 초래하며, 특히 어두은 피부 색소를 가진 환자에게 불리하게 작용한다는 점을 확인한다.