[논문 리뷰] Data Augmentation for Skin Lesion using Self-Attention based Progressive Generative Adversarial Network

Ibrahim Saad Ali, Mamdouh Mohamed외 1명|arXiv (Cornell University)|2019. 10. 25.

Cutaneous Melanoma Detection and Management참고 문헌 31인용 수 8

한 줄 요약

이 논문은 피부암 분류에서의 데이터 불균형 문제를 해결하기 위해 고해상도이며 임상적으로 의미 있는 합성 피부 병변 영상을 생성하기 위한 자기주의 강화형 점진적 GAN(APGAN+TTUR)을 제안한다. 장기적 의존성을 모델링하기 위해 자기주의를 통합하고, 훈련 안정성을 확보하기 위해 TTUR를 사용함으로써, 실재 데이터만을 사용한 경우보다 2.8% 향상된 정확도와 표준 증강 기법보다 1.4% 향상된 정확도를 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) show a significant impact on medical imaging. One significant problem with adopting DNNs for skin cancer classification is that the class frequencies in the existing datasets are imbalanced. This problem hinders the training of robust and well-generalizing models. Data Augmentation addresses this by using existing data more effectively. However, standard data augmentation implementations are manually designed and produce only limited reasonably alternative data. Instead, Generative Adversarial Networks (GANs) is utilized to generate a much broader set of augmentations. This paper proposes a novel enhancement for the progressive generative adversarial networks (PGAN) using self-attention mechanism. Self-attention mechanism is used to directly model the long-range dependencies in the feature maps. Accordingly, self-attention complements PGAN to generate fine-grained samples that comprise clinically-meaningful information. Moreover, the stabilization technique was applied to the enhanced generative model. To train the generative models, ISIC 2018 skin lesion challenge dataset was used to synthesize highly realistic skin lesion samples for boosting further the classification result. We achieve an accuracy of 70.1% which is 2.8% better than the non-augmented one of 67.3%.

연구 동기 및 목표

• 피부 병변 데이터셋의 클래스 불균형 문제를 해결하여 강력한 딥 러닝 모델 훈련을 가능하게 한다.
• 사전 정의된 변환 집합에만 국한되는 수동 데이터 증강의 한계를 극복한다.
• 효과적인 데이터 증강을 위한 고품질 및 고다양성의 합성 피부 병변 영상 향상.
• 고해상도(256×256)에서 고도의 훈련 기법을 활용해 생성 모델의 안정성과 현실성 향상.
• GAN으로 생성된 샘플이 하류 분류 성능 향상에 기여하는 임상적으로 의미 있는 특징을 포함하고 있음을 입증한다.

제안 방법

• 세부 정보 생성을 향상시키기 위해 기능 맵 내 장거리 의존성을 모델링하기 위해 점진적 GAN(PGAN)에 자기주의 메커니즘을 통합한다.
• 구분자 학습률 0.004, 생성자 학습률 0.001로 설정된 이중 시간 업데이트 규칙(TTUR)을 적용하여 고해상도에서 훈련 안정성을 확보한다.
• 1,000개의 합성 영상씩 각 클래스당 생성하기 위해 ISIC 2018 데이터셋에서 APGAN+TTUR 모델을 훈련한다.
• 가장 높은 성능을 보인 GAN 모델(APGAN+TTUR)을 사용해 각 클래스당 1,000개의 합성 영상으로 훈련 세트를 증강하고, 표준 증강 기법과 병합한다.
• 증강된 데이터에서 ResNet-18을 미세 조정하고, 생성기 품질과 일반화 능력을 평가하기 위해 GAN-train 및 GAN-test 지표를 사용하여 성능을 평가한다.
• 검증 세트 501개의 이미지에서 분류 정확도를 평가하여 실재 데이터만, 표준 증강, GAN 증강 훈련 방식을 비교한다.

Figure 1 : Real Images and APGAN+TTUR samples of ISIC 2018 dataset. Nevus(NV), Dermatofibroma(DF), Melanoma(MEL), Pigmented Bowen’s(AKIEC), Pigmented Benign keratoses(BKL), Basal cell carcinoma(BCC), and Vascular(VASC).

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 점진적 GAN 아키텍처 내에서 생성된 피부 병변 영상의 시각적 품질과 임상적 관련성에 기여하는가?
• RQ2 TTUR의 통합이 고해상도 피부 병변 생성을 위한 GAN 훈련에서 안정성 향상과 아티팩트 감소에 뚜렷한 영향을 미치는가?
• RQ3 실재 데이터 또는 표준 증강 데이터에 비해 GAN으로 생성된 합성 샘플이 분류 정확도 향상에 어느 정도 영향을 미치는가?
• RQ4 합성 샘플이 모델 일반화 능력 향상에 기여하는 임상적으로 의미 있는 특징을 포함하고 있는가?
• RQ5 이미지 정밀도와 하류 분류 정확도 측면에서 APGAN+TTUR는 기준 GAN 모델(PGAN, APGAN)에 비해 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• APGAN+TTUR 모델은 ISIC 2018 데이터셋에서 검증 정확도 70.1%를 달성하여 실재 데이터만 사용한 기준 모델의 67.3%보다 2.8% 향상된 성능을 보였다.
• 표준 데이터 증강 기법이 달성한 68.7% 정확도보다도 APGAN+TTUR가 높은 정확도를 기록하여 GAN으로 생성된 샘플이 더 높은 정보량을 제공함을 시사한다.
• APGAN+TTUR의 GAN-train 점수 69.5와 GAN-test 점수 60.0은 강력한 생성기 성능과 양호한 일반화 능력을 나타낸다.
• 흑색 반점과 같은 아티팩트가 메라노마 샘플에서 관찰되었지만, 이는 실재 훈련 데이터에도 유사한 패atters가 존재하여 실제 임상적 변동성을 반영하는 것으로 확인되었다.
• APGAN+TTUR는 PGAN(67.1%)과 APGAN(67.7%)보다 분류 정확도에서 뛰어난 성능을 보여, 자기주의와 TTUR의 융합이 유의미한 이점을 제공함을 확인하였다.
• 결과적으로, 하류 분류 성능 향상에 기여하는 측정 가능한 정확도 향상 증거를 통해 GAN으로 생성된 샘플이 임상적으로 의미 있는 특징을 포함하고 있음을 입증하였다.

Figure 2 : An overview of the APGAN+TTUR employed for skin lesion synthesis.