[논문 리뷰] A Deep Multi-task Learning Approach to Skin Lesion Classification

Haofu Liao, Jiebo Luo|arXiv (Cornell University)|2018. 12. 09.

Cutaneous Melanoma Detection and Management참고 문헌 28인용 수 3

한 줄 요약

이 논문은 전용 손실 함수를 사용하여 피부 병변 분류와 신체 부위 분류를 동시에 최적화하는 딥 다중작업 학습 프레임워크를 제안한다. 피부 병변의 해부학적 분포 패턴을 인도적 편향(inductive bias)으로 활용함으로써, 보편적인 피부 병변 분류에서 평균 정밀도(mAP)가 0.80에 도달하였으며, 단일작업 기반 베이스라인을 능가하고 병변 및 신체 부위 분류 성능을 모두 향상시켰다.

ABSTRACT

Skin lesion identification is a key step toward dermatological diagnosis. When describing a skin lesion, it is very important to note its body site distribution as many skin diseases commonly affect particular parts of the body. To exploit the correlation between skin lesions and their body site distributions, in this study, we investigate the possibility of improving skin lesion classification using the additional context information provided by body location. Specifically, we build a deep multi-task learning (MTL) framework to jointly optimize skin lesion classification and body location classification (the latter is used as an inductive bias). Our MTL framework uses the state-of-the-art ImageNet pretrained model with specialized loss functions for the two related tasks. Our experiments show that the proposed MTL based method performs more robustly than its standalone (single-task) counterpart.

연구 동기 및 목표

• 다양한 병변 유형에 걸쳐 보편적인 피부 병변 분류에 도전하는 데 있어, 기존 수작업 특징으로는 어려운 문제를 해결하기 위해.
• 신체 부위 분포를 보조 작업으로 통합할 경우 피부 병변 분류 성능 향상에 기여하는지 조사하기 위해.
• 공유된 CNN 기반 구조를 사용하여 병변 유형과 해부학적 위치를 동시에 학습하는 딥 러닝 프레임워크를 개발하기 위해.
• DermQuest에서 수집한 대규모 공개 데이터셋(21,657장의 이미지)을 구축하여 학습 및 평가를 위해 활용하기 위해.
• 이미지 검색 및 주의 맵 시각화를 통해 모델의 일반화 능력과 해석 가능성(interpretability)을 평가하기 위해.

제안 방법

• 이 방법은 피부 병변 및 신체 부위 분류에 대해 미세조정된 사전 훈련된 ResNet-50 모델 기반의 딥 다중작업 학습 프레임워크를 사용한다.
• 주 작업(피부 병변 분류)과 보조 작업(신체 부위 분류) 각각에 대해 별도의 완전 연결(Fully Connected, FC) 레이어를 사용하며, 각각 전용 손실 함수를 적용한다.
• 이미지 검색을 위해 최종 풀링 레이어(pool5)에서 특징 표현을 추출하고, 주의 맵 생성을 위해 최종 합성곱 레이어(res5c)에서 특징을 추출한다.
• 이미지 주의 맵은 학습된 FC 레이어 가중치를 사용해 활성화 맵의 가중 평균을 계산함으로써 생성되며, 각 작업에 대해 클래스별 주의 맵을 생성한다.
• 다중작업 모델과 그 단일작업 대응 모델의 앙상블을 사용하여 성능을 향상시켜 최고의 mAP를 달성한다.
• 공유된 특징 학습을 장려하면서도 작업별 특성 표현을 유지하는 공동 최적화 목표를 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 피부 병변 분류와 신체 부위 분류를 동시에 학습하는 것이 보편적인 피부 병변 분류 성능 향상에 기여하는가?
• RQ2 피부 병변의 해부학적 분포가 다중작업 학습을 통한 병변 분류 성능 향상에 유용한 인도적 편향이 되는가?
• RQ3 다중작업 모델의 성능은 병변 및 신체 부위 분류에서 단일작업 대비 어떻게 비교되는가?
• RQ4 주의 맵이 피부과 영상에서 의미 있는 병변 및 해부학적 영역의 국소화를 얼마나 잘 반영하는가?
• RQ5 다중작업 모델에서 학습된 특징를 사용한 이미지 검색이 의미적으로 유사한 병변과 신체 부위를 성공적으로 검색할 수 있는가?

주요 결과

• 제안된 다중작업 학습 모델은 보편적인 피부 병변 분류에서 평균 정밀도(mAP)가 0.80에 도달하였으며, 단일작업 기반 베이스라인을 능가하였다.
• 다중작업 설정 하에서 신체 부위 분류 작업의 성능도 향상되었으며, 단독으로 신체 부위 분류를 학습한 경우보다 상위 1위 및 상위 3위 정확도가 높았다.
• 이미지 검색 결과는 모델이 시각적 및 의미적으로 유사한 이미지를 성공적으로 검색했음을 보여주었으며, 정확히 매칭된 쿼리는 초록색으로 표시되고, 잘못 매칭된 경우 빨간색으로 강조되었다.
• 주의 시각화 결과는 주 작업에서는 병변 영역에 집중하고 보조 작업에서는 해부학적 신체 부위에 집중하는 것을 확인하였지만, 일부 클래스 특이적 편향(예: 'alopecia')은 겹치는 주의 맵을 보였다.
• 다중작업 모델과 그 단일작업 대응 모델의 앙상블은 최고의 mAP를 기록하였으며, 이는 상호 보완적인 성능 향상 효과를 의미한다.
• 본 연구는 신체 부위 선호도가 피부 병변 분류에서 특징 학습과 일반화 능력을 향상시키는 가치 있는 인도적 편향임을 확인하였다.