[논문 리뷰] Improving Automatic Skin Lesion Segmentation using Adversarial Learning based Data Augmentation

Lei Bi, Dagan Feng외 1명|arXiv (Cornell University)|2018. 07. 23.

Cutaneous Melanoma Detection and Management참고 문헌 16인용 수 15

한 줄 요약

이 논문은 다수의 복잡도 수준에서 다양하고 현실적인 병변 이미지를 생성하는 GAN 기반 데이터 증강 방법을 제안하여, 완전 컨volution 네트워크(FCN) 기반의 피부 병변 세그멘테이션 성능을 향상시킨다. 이러한 적대적으로 생성된 샘플을 훈련에 통합함으로써 특징의 다양성과 강건성을 향상시켜, ISIC 2018 데이터셋에서 최신 기술 수준의 성능을 달성하며 경계 정확도와 일반화 능력이 향상되었다.

ABSTRACT

Segmentation of skin lesions is considered as an important step in computer aided diagnosis (CAD) for automated melanoma diagnosis. In recent years, segmentation methods based on fully convolutional networks (FCN) have achieved great success in general images. This success is primarily due to the leveraging of large labelled datasets to learn features that correspond to the shallow appearance as well as the deep semantics of the images. However, the dependence on large dataset does not translate well into medical images. To improve the FCN performance for skin lesion segmentations, researchers attempted to use specific cost functions or add post-processing algorithms to refine the coarse boundaries of the FCN results. However, the performance of these methods is heavily reliant on the tuning of many parameters and post-processing techniques. In this paper, we leverage the state-of-the-art image feature learning method of generative adversarial network (GAN) for its inherent ability to produce consistent and realistic image features by using deep neural networks and adversarial learning concept. We improve upon GAN such that skin lesion features can be learned at different level of complexities, in a controlled manner. The outputs from our method is then augmented to the existing FCN training data, thus increasing the overall feature diversity. We evaluated our method on the ISIC 2018 skin lesion segmentation challenge dataset and showed that it was more accurate and robust when compared to the existing skin lesion segmentation methods.

연구 동기 및 목표

• 의료 세그멘테이션 작업에서 레이블이 부여된 피부 병변 이미지의 다양성과 부족함을 해결하기 위해.
• 광범위한 초모수 조정에 의존하지 않고도 FCN 기반 세그멘테이션 모델의 일반화 능력과 경계 정밀도를 향상시키기 위해.
• 실제 피부 병변 이미지를 생성할 수 있는 제어 가능하고 다수 수준의 적대적 데이터 증강 프레임워크를 개발하기 위해.
• ISIC 2018 피부 병변 세그멘테이션 챌린지 데이터셋에서 방법의 효과성을 평가하기 위해.
• 세그멘테이션 파이프라인에서 후처리 및 수동 파rameter 조정에 대한 의존도를 줄이기 위해.

제안 방법

• 입력 세그멘테이션 마스크를 조건으로 하여 현실적인 피부 병변 이미지를 생성하기 위해 조건부 생성 적대적 네트워크(cGAN)를 설계하였다.
• 생성된 샘플 간의 고급 실현 가능성과 특징 일관성을 확보하기 위해 적대적 손실을 사용하여 GAN을 훈련시켰다.
• 텍스처, 형태, 대비 등 다양한 수준의 복잡도에서 병변 특징을 제어 가능하게 생성할 수 있도록 하였다.
• 생성된 이미지를 원래 훈련 세트에 통합하여 특징 다양성을 증가시키고 FCN의 일반화 능력을 향상시켰다.
• 적대적 훈련 과정에는 실제 이미지와 생성된 이미지를 구분하는 디스커미네이터가 포함되어 있어 현실적인 특징 학습을 장려한다.
• 최종 모델은 실제 데이터와 생성된 데이터를 결합한 데이터셋에서 파인튜닝되어 세그멘테이션 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 적대적 학습을 통해 FCN 기반 세그멘테이션 성능 향상에 기여할 수 있는 현실적이고 다양한 피부 병변 이미지를 생성할 수 있는가?
• RQ2 다수 수준의 제어 가능한 데이터 증강이 피부 병변 세그멘테이션에서 더 나은 경계 검출을 이끌어낼 수 있는가?
• RQ3 제안된 방법이 후처리 및 수동 초모수 조정에 대한 의존도를 줄일 수 있는가?
• RQ4 ISIC 2018 벤치마크에서 기존 최신 기술 수준의 접근 방식과 비교해 볼 때 방법의 성능은 어떠한가?
• RQ5 적대적 데이터 증강을 통해 미리 보지 못한 피부 병변 외관에 더 잘 일반화될 수 있는가?

주요 결과

• 제안된 방법은 기준 FCN 및 기타 최신 기술 수준의 방법들과 비교해 ISIC 2018 챌린지 데이터셋에서 뛰어난 세그멘테이션 성능을 달성하였다.
• 모델은 경계 정확도가 향상되어 미세한 병변 윤곽 예측 오류를 줄였다.
• GAN으로 생성된 샘플 통합으로 훈련 데이터의 다양성이 증가하여 모델의 강건성이 향상되었다.
• 광범위한 후처리나 수동 초모수 조정 없이도 기존 접근 방식을 초월하는 성능을 보였다.
• 아블레이션 연구를 통해 병변 특징의 제어 가능한 다수 수준의 생성이 성능 향상에 크게 기여하는 것으로 확인되었다.
• 결과적으로 적대적 데이터 증강은 레이블이 제한된 의료 영상 세그멘테이션에 실현 가능하고 효과적인 전략임을 시사한다.