[논문 리뷰] A Multiresolution Convolutional Neural Network with Partial Label Training for Annotating Reflectance Confocal Microscopy Images of Skin

Alican Bozkurt, Kıvanç Köse외 5명|arXiv (Cornell University)|2018. 02. 05.

Cutaneous Melanoma Detection and Management인용 수 9

한 줄 요약

이 논문은 피부의 반사(confocal) 현미경(RCM) 영상에서 네 가지 핵심 형태학적 패턴을 자동으로 주석 처리하기 위해 다중해상도 중첩 U-Net 아키텍처와 선택적 손실 함수를 제안한다. 56장의 12k×12k 픽셀 크기의 암성 의심 RCM 영상으로 훈련된 모델은 진단 패턴을 감지하는 데 높은 민감도와 특이도를 달성하여, 라벨이 없는 영역의 일관된 주석 처리를 가능하게 하고 RCM 사용의 임상적 훈련을 가속화한다.

ABSTRACT

We describe a new multiresolution "nested encoder-decoder" convolutional network architecture and use it to annotate morphological patterns in reflectance confocal microscopy (RCM) images of human skin for aiding cancer diagnosis. Skin cancers are the most common types of cancers, melanoma being the deadliest among them. RCM is an effective, non-invasive pre-screening tool for skin cancer diagnosis, with the required cellular resolution. However, images are complex, low-contrast, and highly variable, so that clinicians require months to years of expert-level training to be able to make accurate assessments. In this paper, we address classifying 4 key clinically important structural/textural patterns in RCM images. The occurrence and morphology of these patterns are used by clinicians for diagnosis of melanomas. The large size of RCM images, the large variance of pattern size, the large-scale range over which patterns appear, the class imbalance in collected images, and the lack of fully-labeled images all make this a challenging problem to address, even with automated machine learning tools. We designed a novel nested U-net architecture to cope with these challenges, and a selective loss function to handle partial labeling. Trained and tested on 56 melanoma-suspicious, partially labeled, 12k x 12k pixel images, our network automatically annotated diagnostic patterns with high sensitivity and specificity, providing consistent labels for unlabeled sections of the test images. Providing such annotation will aid clinicians in achieving diagnostic accuracy, and perhaps more important, dramatically facilitate clinical training, thus enabling much more rapid adoption of RCM into widespread clinical use process. In addition, our adaptation of U-net architecture provides an intrinsically multiresolution deep network that may be useful in other challenging biomedical image analysis applications.

연구 동기 및 목표

• 반사(confocal) 현미경(RCM) 영상에서 피부의 임상적으로 유의미한 네 가지 형태학적 패턴을 분류하는 데 도전하는 것.
• 큰 영상 크기, 다양한 패턴 크기, 클래스 불균형, 희소 라벨링 등 RCM 데이터에서 발생하는 제약 요소를 극복하는 것.
• 전체 대규모 RCM 영상에서 일관되고 고정밀도 주석을 제공하는 딥 러닝 프레임워크를 개발하는 것.
• 의료진의 광범위한 전문 훈련이 필요로 하지 않도록 하여 RCM의 빠른 임상적 도입을 촉진하는 것.
• 다른 생물의학 영상 분석 과제에 적용 가능한 다중해상도 아키텍처를 개발하는 것.

제안 방법

• 다중 해상도에서 특징을 캡처할 수 있도록 설계된 새로운 중첩 인코더-디코더 U-Net 아키텍처를 제안하여 다양한 척도에서 패턴 탐지를 향상시킨다.
• 라벨이 부여된 영역에 집중하면서 라벨이 없는 영역의 노이즈를 최소화함으로써 부분 라벨링을 처리하기 위해 선택적 손실 함수를 도입한다.
• 데이터 증강을 통해 클래스 불균형을 완화하면서 56장의 부분 라벨이 부여된 12k×12k RCM 영상에서 엔드 투 엔드로 네트워크를 훈련시킨다.
• 아키텍처는 내재된 다중해상도 특징 학습을 가능하게 하여 미세한 패턴과 거친 형태학적 패턴 모두 탐지할 수 있도록 한다.
• 스킵 연결을 사용하여 공간적 세부 정보를 유지함으로써 미세한 진단적 특징의 정확한 세그멘테이션에 기여한다.
• 학습률 스케줄링을 사용한 확률적 경사 하강법을 통해 수렴성과 일반화 능력을 향상시키기 위해 프레임워크를 최적화한다.

실험 결과

연구 질문

• RQ1 다중해상도 딥 러닝 아키텍처는 저대비의 큰 크기의 RCM 영상에서 여러 형태학적 패턴을 효과적으로 탐지할 수 있는가?
• RQ2 임상적 RCM 데이터셋의 부분 라벨링은 강력한 세그멘테이션 모델을 훈련시키는 데 어떻게 활용될 수 있는가?
• RQ3 기본 U-Net 대비 중첩 U-Net 아키텍처가 RCM 영상 분석에서 감지 민감도와 특이도를 얼마나 향상시키는가?
• RQ4 제안된 방법은 일관되고 자동화된 주석 처리를 제공함으로써 의료진의 전문 수준 훈련 필요성을 줄일 수 있는가?
• RQ5 선택적 손실 함수는 모델 성능에 영향을 미치는 불완전한 라벨의 영향을 효과적으로 줄일 수 있는가?

주요 결과

• 모델은 부분 라벨링 조건에서도 RCM 영상에서 네 가지 핵심 진단 패턴을 감지하는 데 높은 민감도와 특이도를 달성했다.
• 중첩 U-Net 아키텍처는 다양한 척도에서 형태학적 패턴을 성공적으로 캡처하여 대규모 영상에서의 탐지 정확도를 향상시켰다.
• 선택적 손실 함수는 부분 라벨링을 효과적으로 처리하여 노이즈를 감소시키고 훈련의 안정성을 향상시켰다.
• 모델은 테스트 영상의 라벨이 없는 영역에서도 일관되고 신뢰할 수 있는 주석을 제공하여 전체 영상의 진단 지원을 가능하게 했다.
• 12k×12k RCM 영상에서 강력한 일반화 능력을 입증하여 기준 모델 대비 패턴 국소화 및 세그멘테이션에서 뛰어난 성능을 보였다.
• 의료진이 RCM 진단 숙련도를 확보하는 데 소요되는 시간을 크게 줄여 임상적 도입을 가속화했다.