[논문 리뷰] Handling Inter-Annotator Agreement for Automated Skin Lesion Segmentation

Vinícius Ribeiro, Sandra Avila외 1명|arXiv (Cornell University)|2019. 06. 06.

Cutaneous Melanoma Detection and Management참고 문헌 25인용 수 17

한 줄 요약

이 논문은 ISIC 아카이브를 사용하여 피부 병변 분할에서의 평가자 간 일치도를 조사하며, 간단한 이미지 처리 조건화 기법(예: 볼록 껍질, 형태학적 연산)을 제안하여 지도 레이블의 일관성을 향상시킨다. 이러한 조건화 기법이 병변 경계를 왜곡하지 않으면서도 평가자 간 일치도를 크게 향상시켜, 특히 중앙값 코HEN의 카파를 0.7185에서 0.7552로 높이며, 강력한 분할 모델을 훈련하고 평가하는 데 실용적인 해결책을 제공한다.

ABSTRACT

In this work, we explore the issue of the inter-annotator agreement for training and evaluating automated segmentation of skin lesions. We explore what different degrees of agreement represent, and how they affect different use cases for segmentation. We also evaluate how conditioning the ground truths using different (but very simple) algorithms may help to enhance agreement and may be appropriate for some use cases. The segmentation of skin lesions is a cornerstone task for automated skin lesion analysis, useful both as an end-result to locate/detect the lesions and as an ancillary task for lesion classification. Lesion segmentation, however, is a very challenging task, due not only to the challenge of image segmentation itself but also to the difficulty in obtaining properly annotated data. Detecting accurately the borders of lesions is challenging even for trained humans, since, for many lesions, those borders are fuzzy and ill-defined. Using lesions and annotations from the ISIC Archive, we estimate inter-annotator agreement for skin-lesion segmentation and propose several simple procedures that may help to improve inter-annotator agreement if used to condition the ground truths.

연구 동기 및 목표

• 의료 영상 분할 분야에서 중요한데도 다루지 않은 문제인 피부 병변 분할에서의 평가자 간 일치도를 분석하는 것.
• 다양한 수준의 일치도가 자동 피부 병변 분석에서 모델 훈련과 평가에 어떤 영향을 미치는지 평가하는 것.
• 병변 경계를 왜곡하지 않으면서도 일치도를 향상시킬 수 있는 단순한 조건화 방법을 제안하고 시험하는 것.
• 지상 진술을 조건화하는 것이 분할 모델 평가의 강건성과 공정성을 향상시킬 수 있는지 평가하는 것.
• 최근 대회에서 상위 성능를 기록한 모델들이 추가 레이블 데이터를 회피한 이유를 조사하며, 이는 아마도 레이블 일관성 부족 때문일 수 있다.

제안 방법

• 연구는 ISIC 아카이브를 사용하여 각 이미지에 대해 다수의 인간 레이블링 마스크를 제공함으로써, 코HEN의 카파와 다이스 스코어를 사용하여 평가자 간 일치도를 추정한다.
• 원래 지상 진술을 수정하기 위해 간단한 이미지 처리 연산(경계 상자, 볼록 껍질, 형태학적 닫힘, 형태학적 열림)을 조건화 기법으로 적용한다.
• 각 조건화 기법을 모든 레이블에 적용하고, 일치도 재평가를 통해 향상 여부를 평가한다.
• 유의미한 차이가 있는지 평가하기 위해 통계적 가설 검정(Kolmogorov-Smirnov 검정)을 사용하여 조건화 이전과 이후의 일치도 분포를 비교한다.
• 일반화 가능성 평가를 위해 ISIC 아카이브와 2017년 및 2018년 대회에서 사용된 서브셋을 분석한다.
• 원본 및 조건화된 지상 진술 간의 일치도 스코어 분포를 비둘기 뱃속도와 조밀도 추정을 통해 시각화한다.

실험 결과

연구 질문

• RQ1 피부 병변 분할 데이터셋, 특히 ISIC 아카이브에서 평가자 간 일치도는 어떻게 변동하는가?
• RQ2 다양한 수준의 평가자 간 일치도는 임상 및 기계 학습 응용 분야에서 어떤 의미를 갖는가?
• RQ3 간단한 이미지 처리 조건화 기법이 병변 경계를 왜곡하지 않으면서도 평가자 간 일치도를 향상시킬 수 있는가?
• RQ4 어느 조건화 기법이 가장 높은 일치도 향상을 이끌어내며, 이는 다양한 병변 유형이나 이미지 서브셋에 따라 어떻게 달라지는가?
• RQ5 최근 대회에서 상위 성능를 기록한 모델들이 왜 추가 레이블 데이터를 피했는지, 그리고 레이블 불일치가 그 이유일 수 있는가?

주요 결과

• 전체 ISIC 아카이브의 중앙값 평가자 간 일치도(코HEN의 카파)는 0.7185이며, ISIC 챌린지 2018 서브셋에서는 0.7552로 상승한다.
• 형태학적 연산과 볼록 껍질 조건화가 일치도를 유의미하게 향상시키며, 경계 상자 대 볼록 껍질 비교에서 p값 < 0.002이다.
• 경계 상자 조건화는 다른 방법들에 비해 일치도를 악화시켜, 강한 단순화가 유리하지 않을 수 있음을 시사한다.
• Kolmogorov-Smirnov 검정에서 원본과 모든 조건화된 분포 간 동치성은 기각되었으며(p < 10^-20), 일치도 분포에 통계적으로 유의미한 이동이 있음을 보여준다.
• 조건화 이후에도 낮은 일치도를 보이는 꼬리 부분이 여전히 존재하여, 강한 이질성이 해결되지 않은 채로 남아 있음을 시사한다.
• 결과는 조건화가 병변의 핵심 특징을 유지하면서 평가자 특유의 노이즈를 줄이는 노이즈 제거 작용을 한다고 시사하며, 이는 모델의 강건성과 평가의 공정성을 향상시킨다.