[논문 리뷰] Skin Cancer Detection and Tracking using Data Synthesis and Deep Learning

Yunzhu Li, Andre Esteva외 4명|arXiv (Cornell University)|2016. 12. 04.

Cutaneous Melanoma Detection and Management참고 문헌 7인용 수 28

한 줄 요약

이 논문은 데이터 부족 문제를 극복하기 위해 도메인 특화 데이터 합성 기법을 사용하여 피부암 검출 및 추적을 위한 딥러닝 프레임워크를 제안한다. 포isson 블렌딩과 광범위한 증강을 통해 신체 부위에 현실적인 피부 병변 이미지를 합성하고, 이로 인해 얻은 데이터로 완전 컨volution 네트워크를 학습시켜 픽셀 단위 병변 분류를 수행하며, 시간적 대응 관계를 추적하기 위한 추적 네트워크도 학습시킨다. 이는 최소한의 레이블이 있는 실제 임상 데이터에서 기존의 기준 모델들보다 뛰어난 성능을 달성한다.

ABSTRACT

Dense object detection and temporal tracking are needed across applications domains ranging from people-tracking to analysis of satellite imagery over time. The detection and tracking of malignant skin cancers and benign moles poses a particularly challenging problem due to the general uniformity of large skin patches, the fact that skin lesions vary little in their appearance, and the relatively small amount of data available. Here we introduce a novel data synthesis technique that merges images of individual skin lesions with full-body images and heavily augments them to generate significant amounts of data. We build a convolutional neural network (CNN) based system, trained on this synthetic data, and demonstrate superior performance to traditional detection and tracking techniques. Additionally, we compare our system to humans trained with simple criteria. Our system is intended for potential clinical use to augment the capabilities of healthcare providers. While domain-specific, we believe the methods invoked in this work will be useful in applying CNNs across domains that suffer from limited data availability.

연구 동기 및 목표

• 피부과 분야에서 레이블이 부족한 피부암 데이터셋 문제를 해결하기 위해 합성 학습 데이터를 생성한다.
• 시각적으로 복잡한 임상 이미지에서 악성 및 양성 피부 병변을 정확하게 검출할 수 있도록 한다.
• 순차적인 이미지 간 병변의 시간적 변화를 식별할 수 있는 견고한 추적 시스템을 개발한다.
• 생체 조직 검사로 확인된 1,300장의 병변 이미지와 400장의 신체 이미지만을 사용하여 최신 기술 수준의 검출 및 추적 성능을 입증한다.
• 다른 저데이터 의료 영상 분야에 적용 가능한 이식 가능한 프레임워크를 만든다.

제안 방법

• 피부 생검으로 확인된 1,300장의 병변 이미지를 400장의 분할된 신체 이미지에 포isson 이미지 편집 기법을 사용해 현실적인 외관으로 합성하여 학습 데이터를 생성한다.
• 병변 및 신체 이미지 양쪽에 대해 기울기, 스케일링, 색상 왜곡 등의 광범위한 데이터 증강을 적용하여 다양성과 내구성을 높인다.
• 스킵 연결 기반의 완전 컨volution 네트워크(FCN)를 학습시켜 배경, 양성 병변, 악성 병변의 세 가지 클래스로 픽셀 단위 분류를 수행한다.
• FCN의 히트맵 출력을 비최대 억제 및 임계값 처리를 통해 해석 가능한 병변 후보 영역으로 후처리한다.
• 검출 이미지에 기하학적 및 광학적 변환을 적용하여 이미지 쌍을 구성함으로써 시간적 변화를 시뮬레이션한다.
• 공유 인코더와 잔여 연결을 갖춘 시아모이드 유사 아키텍처를 사용하여 추적 네트워크를 학습시키며, 이미지 쌍 간의 픽셀 단위 이동 필드를 예측한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성이 저데이터 환경에서 피부 병변 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 합성 데이터로 학습된 완전 컨볼루션 네트워크가 실제 임상 이미지에서 인간이 이해할 수 있는 병변 검출 결과를 도출할 수 있는가?
• RQ3 딥러닝 기반 추적 시스템이 자세와 외관이 변화하는 시간적 인접한 피부 이미지 간에 픽셀 단위 대응 관계를 정확히 예측할 수 있는가?
• RQ4 슬라이딩 윈도우 기반 검출 및 SIFTFlow 기법과 비교하여 제안된 방법의 검출 및 추적 정확도는 어떻게 되는가?
• RQ5 합성 데이터로 학습된 모델이 실제 임상 피부 영상 환경에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 검출 방법은 108장의 임상 이미지로 구성된 테스트 세트에서 슬라이딩 윈도우 기반 기준 모델과 비전문가 인간 판독자보다 더 높은 AUC( receiver operating characteristic 곡선 아래 면적)를 달성했다.
• 후처리를 통해 검출 네트워크는 인간이 이해할 수 있는 결과를 생성하여 복잡한 피부 부위에서 의심스러운 병변을 효과적으로 강조했다.
• PCK 지표에서 추적 네트워크는 SIFTFlow 및 DSP 기준 모델을 모두 능가했으며, 다양한 영상 조건에서 정확한 관건 대응 관계를 예측하는 데 뛰어난 정확도를 보였다.
• 추적 시스템은 자세, 조명, 배경, 병변 형태/크기 변화 등 시간에 따른 다양한 변화에 대해 뛰어난 내구성을 보였다.
• 합성 데이터의 사용 덕분에 1,300장의 레이블이 있는 병변 이미지와 400장의 신체 이미지만으로도 고성능의 검출 및 추적 시스템을 학습시킬 수 있었으며, 이는 저데이터 환경에서 매우 효과적인 방법임을 입증했다.
• 검출 네트워크의 가중치가 성공적으로 추적 네트워크의 초기화에 사용되어 학습 효율성과 성능이 향상되었다.