[논문 리뷰] A Mutual Bootstrapping Model for Automated Skin Lesion Segmentation and Classification

Yutong Xie, Jianpeng Zhang외 2명|arXiv (Cornell University)|2019. 03. 08.

Cutaneous Melanoma Detection and Management참고 문헌 59인용 수 14

한 줄 요약

이 논문은 상호 부트스트랩핑 딥 러닝 모델(MB-DCNN)을 제안하며, 이는 이중 방향 지식 전이를 통해 피부 병변 분할과 분류를 동시에 수행한다: 굵은 분할 마스크가 분류에서 병변 위치를 안내하고, 분류에서의 위치 지도가 분할 정확도를 향상시킨다. 이 방법은 ISIC-2017에서 Jaccard 지수 80.4%와 PH2에서 89.4%를 기록하며, 분류의 평균 AUC는 각각 93.8%와 97.7%를 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Automated skin lesion segmentation and classification are two most essential and related tasks in the computer-aided diagnosis of skin cancer. Despite their prevalence, deep learning models are usually designed for only one task, ignoring the potential benefits in jointly performing both tasks. In this paper, we propose the mutual bootstrapping deep convolutional neural networks (MB-DCNN) model for simultaneous skin lesion segmentation and classification. This model consists of a coarse segmentation network (coarse-SN), a mask-guided classification network (mask-CN), and an enhanced segmentation network (enhanced-SN). On one hand, the coarse-SN generates coarse lesion masks that provide a prior bootstrapping for mask-CN to help it locate and classify skin lesions accurately. On the other hand, the lesion localization maps produced by mask-CN are then fed into enhanced-SN, aiming to transfer the localization information learned by mask-CN to enhanced-SN for accurate lesion segmentation. In this way, both segmentation and classification networks mutually transfer knowledge between each other and facilitate each other in a bootstrapping way. Meanwhile, we also design a novel rank loss and jointly use it with the Dice loss in segmentation networks to address the issues caused by class imbalance and hard-easy pixel imbalance. We evaluate the proposed MB-DCNN model on the ISIC-2017 and PH2 datasets, and achieve a Jaccard index of 80.4% and 89.4% in skin lesion segmentation and an average AUC of 93.8% and 97.7% in skin lesion classification, which are superior to the performance of representative state-of-the-art skin lesion segmentation and classification methods. Our results suggest that it is possible to boost the performance of skin lesion segmentation and classification simultaneously via training a unified model to perform both tasks in a mutual bootstrapping way.

연구 동기 및 목표

• 기존 딥 러닝 모델이 피부 병변 분할과 분류를 별개의 과제로 다루는 한계를 해결한다.
• 분할과 분류의 상호보완적 성질을 활용하여 두 과제의 성능을 동시에 향상시킨다.
• 약한 지도 학습 기반 지식 전이를 통해 픽셀 수준의 레이블에 대한 의존도를 줄이고, 이미지 수준의 레이블을 활용한다.
• 분할 및 분류 네트워크 간 이중 방향 지식 전이를 가능하게 하는 새로운 학습 전략을 개발한다.
• 하이브리드 손실 함수를 사용하여 병변 분할에서의 클래스 불균형과 어려운-쉬운 픽셀 불균형에 대한 강건성을 향상시킨다.

제안 방법

• 粗모델-SN(초기 병변 마스크 예측용), 마스크-CN(마스크 유도 주의 기반 분류용), 향상된-SN(정밀 분할용)으로 구성된 세 개의 네트워크 아키텍처를 제안한다.
• 粗모델-SN의 예측 결과를 사전 지식으로 활용하여 마스크-CN이 더 정확한 병변 위치 및 분류를 학습하도록 유도한다.
• 마스크-CN에서 생성된 위치 지도를 다시 향상된-SN에 전달하여 분할을 정밀화함으로써 상호 부트스트랩핑을 구현한다.
• 클래스 불균형과 어려운-쉬운 픽셀 불균형 문제를 해결하기 위해 딱딱한 손실과 함께 새로운 순위 손실을 도입한다.
• ISIC-2017 및 PH2 데이터셋의 이미지 수준(분류) 및 픽셀 수준(분할) 레이블을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 분할 정확도와 일반화 능력을 균형 잡는 하이브리드 손실 함수를 최적화하여 공동 훈련 프로세스를 개선한다.

실험 결과

연구 질문

• RQ1 단일 과제 모델에 비해 분할과 분류를 동시에 훈련시키는 것이 두 과제의 성능을 향상시키는가?
• RQ2 분할 및 분류 네트워크 간 이중 방향 지식 전이가 모델 정확도 향상에 얼마나 효과적인가?
• RQ3 약한 지도 학습과 결합할 때 이미지 수준의 레이블이 분할 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 하이브리드 손실(Dice + 순위 손실)이 병변 분할에서의 클래스 불균형과 어려운-쉬운 픽셀 불균형을 효과적으로 완화하는가?
• RQ5 제한된 레이블 데이터에서 상호 부트스트랩핑 메커니즘이 어떻게 성능을 발휘하는가?

주요 결과

• MB-DCNN 모델은 ISIC-2017 데이터셋에서 피부 병변 분할에 대해 Jaccard 지수 80.4%를 기록했으며, PH2 데이터셋에선 89.4%를 달성하여 최신 기술 수준의 방법들을 초월한다.
• 분류 과제에서 ISIC-2017의 평균 AUC는 93.8%, PH2는 97.7%를 기록하여 최신 기술 수준의 모델을 능가한다.
• 상호 부트스트랩핑 메커니즘이 특히 훈련 데이터가 제한된 경우 뚜렷한 성능 향상을 이끌어낸다.
• Dice 손실과의 통합으로 순위 손실이 병변 분할에서의 클래스 불균형과 어려운-쉬운 픽셀 불균형의 영향을 효과적으로 줄였다.
• 모델는 ISIC 아카이브 데이터셋에서 더 새로운, 다양한 피부 현미경 영상에 대해 높은 성능을 유지하며 강력한 일반화 능력을 보였다.
• 온라인 추론은 GPU 서버에서 이미지당 1초 미만으로 효율적이며, 임상 적용 가능성을 시사한다.