[논문 리뷰] Data-Driven Color Augmentation Techniques for Deep Skin Image Analysis

Adrián Galdrán, Aitor Álvarez-Gila외 8명|arXiv (Cornell University)|2017. 03. 10.

melanin and skin pigmentation참고 문헌 9인용 수 58

한 줄 요약

논문은 Shades of Gray 기반 조명 추정기를 이용해 화이트 밸런싱된 학습 이미지를 색상 캐스팅하는 데이터 증강 방법을 dermoscopy 이미지에 적용해 ISIC 2017에서 외부 피부 병변 데이터 없이 분할 및 분류를 개선한다.

ABSTRACT

Dermoscopic skin images are often obtained with different imaging devices, under varying acquisition conditions. In this work, instead of attempting to perform intensity and color normalization, we propose to leverage computational color constancy techniques to build an artificial data augmentation technique suitable for this kind of images. Specifically, we apply the \emph{shades of gray} color constancy technique to color-normalize the entire training set of images, while retaining the estimated illuminants. We then draw one sample from the distribution of training set illuminants and apply it on the normalized image. We employ this technique for training two deep convolutional neural networks for the tasks of skin lesion segmentation and skin lesion classification, in the context of the ISIC 2017 challenge and without using any external dermatologic image set. Our results on the validation set are promising, and will be supplemented with extended results on the hidden test set when available.

연구 동기 및 목표

• varied acquisition conditions and devices를 견뎌내는 견고한 피부 병변 분석 동기 부여
• 다양한 조명 조건을 시뮬레이션하기 위한 색상 불변성 기반 증강 제안
• ISIC 2017 내에서 외부 피부과 데이터를 사용하지 않고 증강의 피부 병변 분할 및 분류 평가

제안 방법

• 학습 이미지에 Shades of Gray 색상 불변성으로 장면 조명을 추정한다.
• 이미지를 화이트 밸런스하고 경험적 분포에서 조명을 샘플링하여 색상 캐스팅된 학습 샘플을 생성하는 증강으로 사용한다
• 증강을 위한 Von Kries–유사 대각 편광 적응 변환을 적용한다
• 감마 보정 증강을 trunced normal 분포에서 감마를 샘플링하여 적용한다
• 데이터 다양성을 높이기 위해 표준 기하학적(및 비선형) 데이터 증강을 사용한다
• 도메인 보강 데이터로 학습된 U-Net 분할 및 50-레이어 잔차 네트워크를 분류에 적용한다

실험 결과

연구 질문

• RQ1 조명 기반 데이터 증강이 외부 데이터 없이도 심도 학습 모델의 일반화에 기여할 수 있는가?
• RQ2 제안된 증강이 ISIC 2017에서 분할 정확도와 분류 성능에 어떤 영향을 미치는가?
• RQ3 컬러 불변성 기반 증강이 피부 이미지의 조명 및 장치 차이의 변화에 대해 견고한가?

주요 결과

• 분할 정확도(ISIC 2017 검증): ACC 0.948, Dice 0.846, Jaccard 0.767, Sensitivity 0.865, Specificity 0.980.
• 흑색종 분류 AUC 0.791, ACC 0.580, AP 0.482, Sensitivity 0.833, Specificity 0.517.
• 피부견판각종( Seborrheic keratosis) 분류 AUC 0.954, ACC 0.867, AP 0.898, Sensitivity 0.857, Specificity 0.870.
• 평균 분류 지표: AUC 0.873, ACC 0.723, AP 0.690, Sensitivity 0.845, Specificity 0.694.