[논문 리뷰] Illumination-based Transformations Improve Skin Lesion Segmentation in Dermoscopic Images

Kumar Abhishek, Ghassan Hamarneh외 1명|arXiv (Cornell University)|2020. 03. 23.

Cutaneous Melanoma Detection and Management참고 문헌 31인용 수 12

한 줄 요약

이 논문은 물리 기반 조명 및 색채 이론 변환을 통합하여 성능을 향상시키는 딥러닝 기반의 피부병변 영상 의미 분할 프레임워크를 제안한다. 특히, 정규화된 빨간색 및 밸류-보완 색채 대역, 조명에 영향을 받지 않는 내재 이미지, 회색조 변환을 포함한다. 이로 인해 RGB 전용 기준 모델 대비 ISIC 2017, DermoFit, PH2 데이터셋에서 평균 재현율 지수(Jaccard index)가 각각 12.02%, 4.30%, 8.86% 향상되었다.

ABSTRACT

The semantic segmentation of skin lesions is an important and common initial task in the computer aided diagnosis of dermoscopic images. Although deep learning-based approaches have considerably improved the segmentation accuracy, there is still room for improvement by addressing the major challenges, such as variations in lesion shape, size, color and varying levels of contrast. In this work, we propose the first deep semantic segmentation framework for dermoscopic images which incorporates, along with the original RGB images, information extracted using the physics of skin illumination and imaging. In particular, we incorporate information from specific color bands, illumination invariant grayscale images, and shading-attenuated images. We evaluate our method on three datasets: the ISBI ISIC 2017 Skin Lesion Segmentation Challenge dataset, the DermoFit Image Library, and the PH2 dataset and observe improvements of 12.02%, 4.30%, and 8.86% respectively in the mean Jaccard index over a baseline model trained only with RGB images.

연구 동기 및 목표

• 피부 내시경 영상에서 조도, 색상, 대비의 변동으로 인한 병변 외관의 일관성 부족 문제를 해결하기 위해.
• 물리 기반 조명 및 색채 이론 지식을 통합함으로써 딥러닝 기반 피부병변 분할 성능 향상 여부를 조사하기 위해.
• 특정 조명에 영향을 받지 않는 및 색채 기반 영상 변환의 기여도가 분할 성능에 미치는 영향을 평가하기 위해.
• 딥러닝 모델이 대규모 데이터셋에서 훈련되더라도, 조명 인식 특징을 명시적으로 통합함으로써 유의미한 성능 향상을 얻을 수 있음을 보여주기 위해.
• 다양한 품질과 촬영 조건을 가진 다양한 피부내시경 영상 데이터셋에 대해 제안된 방법의 일반화 능력을 평가하기 위해.

제안 방법

• 이 방법은 깊이 신뢰성 있는 의미 분할 모델의 입력을 확장하기 위해 원본 RGB 피부내시경 영상과 함께 네 가지 유도된 영상 유형을 연결한다: 정규화된 빨간색 채널(R′), 밸류-보완(V*), 내재 회색조 영상(Intrinsic), 조명 감쇠 영상(SA).
• 정규화된 빨간색 채널 R′는 R′ = R / (R + G + B)로 계산되며, 총 밝기 대비 빨간색 강도를 강조한다.
• 밸류-보완 V*는 V* = 1 − V로 유도되며, 여기서 V는 정규화된 RGB 채널의 최댓값이다. 이는 저조도 영역에서 대비를 향상시킨다.
• 내재 이미지는 로그 색채도 및 최소 엔트로피 방법을 사용하여 조명에 영향을 받지 않는 회색조 표현을 생성한다.
• 조명 감쇠 영상은 광학 밀도 공간에서 최소 엔트로피 투영 방법을 통해 확보되며, 비균일한 조명 효과를 감소시킨다.
• 모든 변환된 영상은 원본 RGB 영상과 채널 기반으로 연결되어, 예를 들어 완전 컨volution 네트워크와 같은 딥러닝 분할 모델에 입력되어 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 조명 기반 영상 변환이 딥러닝 모델의 피부병변 분할 성능 향상에 기여하는가?
• RQ2 어느 특정 조명 또는 색채 기반 변환이 분할 정확도 향상에 가장 크게 기여하는가?
• RQ3 표준 RGB 입력 대비 물리 기반 영상 표현의 조명 및 대비 변동에 대한 강건성은 어떻게 비교되는가?
• RQ4 딥러닝 모델이 암묵적으로 학습하는 것보다 명시적인 조명에 영향을 받지 않는 특징 인코딩을 통해 얼마나 많은 이점을 얻는가?
• RQ5 제안된 방법이 다양한 품질과 촬영 조건을 가진 다양한 피부내시경 영상 데이터셋에 일반화되는가?

주요 결과

• 제안된 방법은 RGB 전용 기준 모델 대비 ISIC 2017 데이터셋에서 평균 재현율 지수(Jaccard index)를 12.02% 향상시켰다.
• DermoFit 데이터셋에서는 기준 모델 대비 평균 재현율 지수를 4.30% 향상시켰으며, 내재 이미지가 가장 큰 영향을 미쳤다.
• PH2 데이터셋에서는 평균 재현율 지수를 8.86% 향상시켜 다양한 데이터셋 간 강력한 일반화 능력을 보였다.
• 절단 분석 결과, 내재 이미지와 회색조 변환(GRAY)이 성능 향상에 가장 크게 기여했으며, 조명 감쇠(SA) 영상의 기여도는 미미했다. 이는 JPEG 압축된 영상에서 최적의 투영 각도가 확보되지 않았기 때문이다.
• 정규화된 빨간색(R′) 및 밸류-보완(V*) 채널은 성능 향상에 기여도가 낮았으며, 이는 네트워크가 간단한 변환을 쉽게 학습하기 때문일 것이다.
• SA 영상의 성능 향상 실패 원인은 JPEG 압축으로 인해 고주파 성분이 손실되어 엔트로피 최소화가 불량해지고, 전체 영상 세트에 걸쳐 최적의 투영 각도 확보가 어려워졌기 때문이다.