[논문 리뷰] SkinCon: A skin disease dataset densely annotated by domain experts for fine-grained model debugging and analysis

Roxana Daneshjou, Mert Yüksekgönül외 3명|arXiv (Cornell University)|2023. 02. 01.

Cutaneous Melanoma Detection and Management인용 수 4

한 줄 요약

SkinCon은 피부과 전문의가 '플라크', '각질', '침식' 등 48개의 임상적으로 유의미한 피부 병변 개념으로 밀도 높게 주석 처리한 3,230장의 영상(피츠패트릭 17k에서)과 656장의 영상(다양한 피부과 영상 데이터셋에서)을 포함한 피부과 데이터셋이다. 이 데이터셋은 개념 기반 설명과 사후 개념 병렬 모델을 통해 보다 세밀한 모델 디버깅과 해석 가능한 인공지능을 가능하게 하며, 22개의 개념이 최소 50장 이상, 32개가 30장 이상의 이미지를 확보하고 있어 다수의 질환에 걸쳐 광범위한 개념 주석을 가진 최초의 의료 데이터셋이다.

ABSTRACT

For the deployment of artificial intelligence (AI) in high-risk settings, such as healthcare, methods that provide interpretability/explainability or allow fine-grained error analysis are critical. Many recent methods for interpretability/explainability and fine-grained error analysis use concepts, which are meta-labels that are semantically meaningful to humans. However, there are only a few datasets that include concept-level meta-labels and most of these meta-labels are relevant for natural images that do not require domain expertise. Densely annotated datasets in medicine focused on meta-labels that are relevant to a single disease such as melanoma. In dermatology, skin disease is described using an established clinical lexicon that allows clinicians to describe physical exam findings to one another. To provide a medical dataset densely annotated by domain experts with annotations useful across multiple disease processes, we developed SkinCon: a skin disease dataset densely annotated by dermatologists. SkinCon includes 3230 images from the Fitzpatrick 17k dataset densely annotated with 48 clinical concepts, 22 of which have at least 50 images representing the concept. The concepts used were chosen by two dermatologists considering the clinical descriptor terms used to describe skin lesions. Examples include "plaque", "scale", and "erosion". The same concepts were also used to label 656 skin disease images from the Diverse Dermatology Images dataset, providing an additional external dataset with diverse skin tone representations. We review the potential applications for the SkinCon dataset, such as probing models, concept-based explanations, and concept bottlenecks. Furthermore, we use SkinCon to demonstrate two of these use cases: debugging mistakes of an existing dermatology AI model with concepts and developing interpretable models with post-hoc concept bottleneck models.

연구 동기 및 목표

• 의료적으로 관련성이 있고, 다수의 질환을 포함하는 개념 주석이 부족한 의료 AI 데이터셋의 문제를 해결하기 위해.
• 분야 전문가가 라벨링한 임상적 기술어를 제공함으로써 피부과 AI에서 세밀한 오류 분석과 모델 해석 가능성을 높이기 위해.
• 표준화된 임상 어휘를 사용하여 개념 기반 설명 및 사후 해석 가능한 모델 개발을 지원하기 위해.
• 다양한 피부 톤과 병변 유형을 고려한 분석을 통해 모델의 강건성과 공정성을 향상시키기 위해.
• 향후 해석 가능하고 일반화 가능한 피부과 AI 연구를 위한 기초 데이터셋을 만들기 위해.

제안 방법

• 피부과 전문의들이 기존 피부과 용어를 기반으로 48개의 임상적으로 의미 있는 피부 병변 기술어(예: '플라크', '각질')를 선정하였다.
• 피츠패트릭 17k와 다수의 피부과 영상(Diverse Dermatology Images, DDI) 데이터셋의 영상들이 두 단계의 주석 및 검증 절차를 거쳐 이 48개의 개념으로 주석 처리되었다.
• 데이터셋은 피츠패트릭 17k에서 유래한 3,230장의 영상과 DDI에서 유래한 656장의 영상로 구성되며, 25개의 개념이 50장 이상, 32개가 30장 이상의 이미지를 확보하고 있다.
• 기존의 피부과 AI 모델에서 잘못된 예측를 디버깅하기 위해 개념 기반의 대체 가능한 설명(conceptual counterfactual explanations)을 사용하여 개념 기반 모델 해석을 시연하였다.
• SkinCon의 개념을 기반으로 사후 개념 병렬 모델을 훈련시켜 모델의 해석 가능성과 성능을 향상시켰다.
• 데이터셋은 https://SkinCon-dataset.github.io 에서 공개되어 의료 AI 분야의 재현 가능한 연구를 지원한다.

실험 결과

연구 질문

• RQ1 임상적으로 관련성이 있고 다수의 질환을 포함하는 개념 주석이 밀도 높게 이루어진 피부과 데이터셋이 모델의 해석 가능성과 오류 분석을 향상시키는가?
• RQ2 개념 기반 설명은 피부과 AI에서 모델의 잘못된 예측를 식별하고 진단하는 데 얼마나 효과적인가?
• RQ3 SkinCon을 기반으로 훈련된 사후 개념 병렬 모델은 기존의 피부과 분류기의 해석 가능성을 얼마나 향상시키는가?
• RQ4 SkinCon에 포함된 다양한 피부 톤이 모델 오류 분석의 공정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 현재의 임상 어휘와 주석 관행은 피부과 AI 모델 개발에 적용했을 때 어떤 한계를 지니는가?

주요 결과

• SkinCon은 피츠패트릭 17k에서 유래한 3,230장의 영상과 DDI에서 유래한 656장의 영상로 구성되며, 피부과 전문의가 주석 처리한 48개의 임상 개념을 포함하고 있으며, 그 중 22개의 개념이 최소 50장 이상의 이미지를 확보하고 있다.
• 이 데이터셋은 모델이 피부 병변을 잘못 분류한 이유를 드러내는 개념 기반 설명을 가능하게 하여, 예를 들어 '각질'이나 '침식'의 존재가 잘못된 진단의 원인이 되었음을 밝힐 수 있다.
• SkinCon의 개념을 기반으로 훈련된 사후 개념 병렬 모델은 모델의 해석 가능성을 향상시키고 임상적 특징을 바탕으로 한 오류 분석을 가능하게 하였다.
• 이 데이터셋은 다양한 병변 유형과 피부 톤에 걸쳐 모델 행동을 탐색하고 슬라이스 탐색을 지원한다.
• 노력에도 불구하고 SkinCon은 여전히 불균형한 편이어서, '침윤'과 '플라크'와 같은 공통된 개념은 과대표시되고, '농양'과 같은 드문 특징은 저대표시되어 있다.
• 피츠패트릭 피부 유형 I~IV의 비율이 V~VI보다 높게 포함되어 있어, 더 어두운 피부 톤의 표현을 향상시키기 위해 향후 확장을 고려할 필요가 있다.