[논문 리뷰] Crowd disagreement about medical images is informative

Veronika Cheplygina, Josien P. W. Pluim|arXiv (Cornell University)|2018. 06. 21.

Cutaneous Melanoma Detection and Management참고 문헌 7인용 수 5

한 줄 요약

이 연구는 피부 병변 영상에 대한 군중의 이견이 진단 예측 정보를 지닌다는지를 조사한다. ISIC 2017 데이터셋의 피부 병변 영상 자료를 사용하여, 평균 평가(공동의견)가 가장 높은 분류 성능(AUC 0.99)을 보였지만, 군중 레이블의 표준편차 및 기타 분포 모멘트 역시 무작위보다 높은 예측 능력을 유지함을 보여, 이견이 유의미하며 기계학습 파이프라인에서 버리지 말아야 한다고 시사한다.

ABSTRACT

Classifiers for medical image analysis are often trained with a single consensus label, based on combining labels given by experts or crowds. However, disagreement between annotators may be informative, and thus removing it may not be the best strategy. As a proof of concept, we predict whether a skin lesion from the ISIC 2017 dataset is a melanoma or not, based on crowd annotations of visual characteristics of that lesion. We compare using the mean annotations, illustrating consensus, to standard deviations and other distribution moments, illustrating disagreement. We show that the mean annotations perform best, but that the disagreement measures are still informative. We also make the crowd annotations used in this paper available at \url{https://figshare.com/s/5cbbce14647b66286544}.

연구 동기 및 목표

• 피부 병변 영상에 대한 군중 평가의 이견이 피부암 진단에 예측 신호를 지니는지 조사하기.
• 공동의견 기반 특징(평균)과 이견 기반 특징(표준편차, 왜도, 첨도)의 성능을 비교하여 피부암을 분류하는 데에 사용하기.
• 군중 평가의 분포 모멘트를 통합함으로써 기계학습 모델의 피부병변 진단 성능 향상 여부 평가하기.
• 군중 기반 시각적 특징 평가를 의료 영상 분류의 보조 신호로 사용할 수 있는지 탐색하기.

제안 방법

• 학생 프로젝트에서 1명의 영상당 6명의 평가자로부터 비대칭성, 가장자리, 색소, 피부경화소, 파란 빛 반사 등의 피부 병변 특징에 대한 시각적 평가를 수집.
• 결측치가 있는 영상 제거 후 ISIC 2017 데이터셋의 96개 영상 사용, 총 30개 특징(특징 유형 5종 × 평가자 수 6명).
• 각 특징을 평균 0, 분산 1로 정규화하고, 데이터 구조를 시각화하기 위해 주성분 분석을 적용.
• 10겹 교차검증을 사용해 로지스틱 분류기 학습하고, 수확률 곡선 아래 면적(AUC)을 평가 지표로 사용.
• 모든 30개 특징, 평균 값만, 특징 유형별로 고차 모멘트(표준편차, 왜도, 첨도)만을 사용한 성능 비교.
• 피부암 및 비피부암 유형에 대해 이견 측도(예: 표준편차)의 분포를 별도로 분석하여 진단적 관련성 이해하기.

실험 결과

연구 질문

• RQ1 군중이 피부 병변의 시각적 특징을 평가할 때, 그 이견이 랜덤 확률을 초월해 피부암 상태를 예측할 수 있는가?
• RQ2 공동의견(평균 평가)이 이견(표준편차, 왜도, 첨도)보다 피부암 진단 예측에서 더 우수한가?
• RQ3 군중 평가의 변동성에 통계적으로 유의미한 신호가 존재하여 평균 외에도 분류 성능에 기여하는가?
• RQ4 색소, 가장자리, 피부경화소 구조 등 다양한 시각적 특징이 공통의견 및 이견 측도의 예측 능력에 어떻게 기여하는가?

주요 결과

• 군중 평가의 평균이 가장 높은 분류 성능을 보였으며, 평균 AUC 0.99를 기록하여 공통의견이 예측에 최적임을 시사한다.
• 평가의 표준편차는 평균 AUC 0.71을 기록하여 무작위 확률을 뛰어넘는 유의미한 예측 능력을 지니며, 이견이 정보를 지닌다는 것을 보여준다.
• 평가의 왜도는 평균 AUC 0.73를 기록하여 군중 응답의 비정규 분포 패턴이 진단 신호를 지닌다는 것을 추가로 확인한다.
• 색소가 가장 정보가 많은 단일 특징 유형으로, 단독으로 사용했을 때 평균 AUC 0.93를 기록했으며, 이는 가장자리(0.82)와 피부경화소 구조(0.81)를 이었다.
• 대부분의 특징 유형에서 비피부암 사례는 피부암 사례보다 더 높은 표준편차(더 큰 이견)를 보였으며, 이는 피부암 병변이 더 일관되게 비정상으로 평가된다는 것을 시사한다.
• 이견 특징의 경우 교차검증 간 성능 변동성이 높아, 신호는 존재하지만 불안정하여 일부 경우 성능 저하를 초래할 수 있음을 나타낸다.