[논문 리뷰] An Encoder-Decoder CNN for Hair Removal in Dermoscopic Images

Lidia Talavera-Martínez, Pedro Bibiloni외 1명|arXiv (Cornell University)|2020. 10. 10.

Cutaneous Melanoma Detection and Management참고 문헌 28인용 수 5

한 줄 요약

이 논문은 공액 손실 함수를 사용하여 질감 복원을 향상시키기 위해 L1, SSIM, TV 및 전경/배경 L1 항목을 조합한 복합 손실 함수를 적용한 새로운 인코더-디코더 컨volution 신경망(CNN)을 제안한다. 이는 공개된 도르모스코픽 데이터베이스에서 유도된 합성 데이터셋에서 기존의 6가지 전통적인 컴퓨터 비전 기법보다 정량적이고 정성적으로 뛰어난 성능을 달성한다.

ABSTRACT

The process of removing occluding hair has a relevant role in the early and accurate diagnosis of skin cancer. It consists of detecting hairs and restore the texture below them, which is sporadically occluded. In this work, we present a model based on convolutional neural networks for hair removal in dermoscopic images. During the network's training, we use a combined loss function to improve the restoration ability of the proposed model. In order to train the CNN and to quantitatively validate their performance, we simulate the presence of skin hair in hairless images extracted from publicly known datasets such as the PH2, dermquest, dermis, EDRA2002, and the ISIC Data Archive. As far as we know, there is no other hair removal method based on deep learning. Thus, we compare our results with six state-of-the-art algorithms based on traditional computer vision techniques by means of similarity measures that compare the reference hairless image and the one with hair simulated. Finally, a statistical test is used to compare the methods. Both qualitative and quantitative results demonstrate the effectiveness of our network.

연구 동기 및 목표

• 기존 컴퓨터 비전 기법의 한계를 해결하기 위해 도르모스코픽 영상에서 머리카락 제거를 위한 딥 러닝 기반 방법을 개발한다.
• 손상된 부위의 질감과 색상 복원을 향상시키기 위해 특화된 손실 함수를 설계한다.
• 실제 도르모스코픽 영상에서 머리카락이 제거된 영상에 인위적인 머리카락을 시뮬레이션하여 정량적 평가에 적합한 합성 데이터셋을 구축한다.
• 제안된 CNN 모델을 6가지 최신 기술 기반 머리카락 제거 알고리즘과 객관적으로 비교한다.
• 합성 데이터 외부의 실제 도르모스코픽 영상에서 모델의 효과성을 검증한다.

제안 방법

• 재구성 과정에서 공간적 세부 정보를 유지하기 위해 스킵 연결을 갖춘 인코더-디코더 CNN 아키텍처를 사용한다.
• L1, SSIM, 총 변동성(TV), 전경/배경별 L1 항목을 조합한 복합 손실 함수를 사용하여 네트워크를 훈련시킨다.
• PH2, dermquest, dermis, EDRA2002 및 ISIC 데이터셋의 실제 머리카락이 제거된 도르모스코픽 영상에 머리카락을 시뮬레이션하여 훈련 및 테스트 데이터를 생성한다.
• 손실 함수에는 병변 영역의 질감을 유지하기 위한 전경 L1 항목과 비병변 영역의 뿌연함을 줄이기 위한 배경 L1 항목이 포함되어 있다.
• 스킵 연결 및 풀링 레이어와 같은 아키텍처 선택 사항의 기여도를 평가하기 위해 분석 실험(ablation studies)를 수행한다.
• 아홉 가지 유사도 지표를 사용하여 다양한 방법 간 성능 비교를 위해 통계적 가설 검정을 적용한다.

실험 결과

연구 질문

• RQ1 딥 CNN 기반 접근 방식이 도르모스코픽 영상에서 머리카락 제거에 있어 기존 컴퓨터 비전 기법을 능가할 수 있는가?
• RQ2 복합 손실 함수의 포함 여부가 머리카락 제거 영역의 질감 및 색상 복원 품질에 어떤 영향을 미치는가?
• RQ3 스킵 연결 및 풀링 레이어와 같은 아키텍처 구성 요소가 재구성 성능에 미치는 영향은 무엇인가?
• RQ4 L1, SSIM, TV와 같은 개별 손실 항목이 최종 출력 품질에 기여하는 정도는 어떻게 분석되었는가(분석 실험 결과 기반)?
• RQ5 모델은 자연 발생하는 머리카락을 가진 실제 도르모스코픽 영상으로 일반화될 수 있는가?

주요 결과

• 제안된 CNN 모델은 6가지 최신 기술 기반 전통적 방법과 비교해 아홉 가지 유사도 지표 중 여덟 가지에서 통계적으로 뛰어난 성능을 보였다.
• 분석 실험 결과, 배경 L1 항목을 제거할 경우 결과 영상이 더 흐릿해지는 것으로 나타나, 비병변 영역의 선명도 유지를 위한 중요성을 입증하였다.
• SSIM 및 TV 손실 항목의 포함으로 재구성 영역의 구조 일관성이 향상되고 노이즈가 감소하였다.
• 스킵 연결은 미세한 세부 정보를 유지하는 데 핵심적인 역할을 하였으며, 스킵 연결이 없는 변형 대비 뚜렷한 시각적 및 정량적 성능 향상이 관찰되었다.
• 자연 발생하는 머리카락을 가진 실제 도르모스코픽 영상에서도 모델이 잘 일반화되어 시각적으로 타당하고 진단적으로 유용한 결과를 생성하였다.
• 모든 구성 요소가 포함된 손실 함수는 테스트 세트에서 최고의 PSNR(35.538 dB)와 SSIM(0.974) 성능을 기록하여 모든 분석 변형보다 뛰어났다.