[논문 리뷰] Diffusion-based Data Augmentation for Skin Disease Classification: Impact Across Original Medical Datasets to Fully Synthetic Images

Mohamed Akrout, Bálint Gyepesi외 10명|arXiv (Cornell University)|2023. 01. 12.

Cutaneous Melanoma Detection and Management인용 수 5

한 줄 요약

이 논문은 피부질환 분류를 위한 확산 기반 데이터 증강 방법을 제안하며, 텍스트 조절형 안정된 확산 모델을 사용해 고해상도 합성 피부 영상을 생성한다. 실수 데이터로 훈련된 분류기와 비교했을 때, 완전히 합성된 데이터셋으로 훈련된 분류기 역시 유사한 정확도를 달성하며 성능 저하가 미미함을 입증함으로써, 개인정보 보호를 위한 의료 AI에 합성 데이터가 실용적인 대안이 될 수 있음을 시사한다.

ABSTRACT

Despite continued advancement in recent years, deep neural networks still rely on large amounts of training data to avoid overfitting. However, labeled training data for real-world applications such as healthcare is limited and difficult to access given longstanding privacy, and strict data sharing policies. By manipulating image datasets in the pixel or feature space, existing data augmentation techniques represent one of the effective ways to improve the quantity and diversity of training data. Here, we look to advance augmentation techniques by building upon the emerging success of text-to-image diffusion probabilistic models in augmenting the training samples of our macroscopic skin disease dataset. We do so by enabling fine-grained control of the image generation process via input text prompts. We demonstrate that this generative data augmentation approach successfully maintains a similar classification accuracy of the visual classifier even when trained on a fully synthetic skin disease dataset. Similar to recent applications of generative models, our study suggests that diffusion models are indeed effective in generating high-quality skin images that do not sacrifice the classifier performance, and can improve the augmentation of training datasets after curation.

연구 동기 및 목표

• 피부과 분야에서 레이블이 부족한 의료 데이터 문제를 해결하기 위해 생성 모델을 활용한 데이터 증강을 시도한다.
• 환자의 기밀성을 해칠 수 없는 방식으로 합성 데이터 생성을 가능하게 하여 의료 분야의 개인정보 보호 및 데이터 공유 장벽을 극복한다.
• 완전히 합성된 피부질환 영상으로 훈련된 분류기가 실수 데이터로 훈련된 경우와 동일한 성능을 내는지 평가한다.
• 도메인 전문 지식과 모델 피드백을 활용한 폐쇄형 파이프라인을 개발하여 합성 영상을 정교하게 캐릭터라이징하고 개선한다.
• 텍스트 조절형 확산 모델이 피부질환 분류의 분류기 강건성과 다양성 향상에 미치는 영향을 조사한다.

제안 방법

• 기저 세포암종, 메ลาน오마, 광선성 각화증, 이방성 메ลาน오세포성 날개, 렌티고, 지루성 각화증의 6종의 피부질환에 대해 클래스별 임bedding을 학습하기 위해 텍스트 인version을 사용해 스테이블 확산 모델을 미세조정한다.
• 예: '메ลาน오마'와 같은 텍스트 프롬프트를 조건으로 하여 잠재 공간에서 다양한 고해상도 합성 피부 영상을 생성한다.
• 실수-소형(250장), 실수(500장), 하이브리드(실수 250장 + 합성 250장), 완전 합성(500장 합성 영상)의 세트를 구성한다.
• 검증 손실 기반 조기 정지 전략을 사용해 Swin-Transformer, EfficientNetV2, RegNetZ 아키텍처를 조합한 앙상블 분류기를 훈련한다.
• 각 데이터셋 별로 채널별 평균 및 표준편차를 계산하여 입력 영상을 정규화하여 일관된 전처리를 수행한다.
• 3,582장의 별도 테스트 세트(실수 영상)를 사용해 추론 성능을 평가하며, 상위-k 정확도(상위-1에서 상위-5)를 기준으로 평가한다.

Figure 1 : Synthetic melanoma images generated by the stable diffusion model after fine-tuning it with melanoma images using the input text prompt “melanoma”.

실험 결과

연구 질문

• RQ1 텍스트 조절형 확산 모델은 깊이 학습 분류기 훈련에 적합한 시각적으로 현실적인 합성 피부질환 영상을 생성할 수 있는가?
• RQ2 완전히 합성된 데이터로 훈련된 분류기의 성능이 실수 데이터로 훈련된 경우와 비교해 어떻게 되는가?
• RQ3 제한된 실수 데이터만으로 훈련하는 것에 비해 합성 데이터를 통합함으로써 분류 정확도는 어느 정도 향상되는가?
• RQ4 실수 데이터가 부족한 상황에서 합성 데이터 사용이 과적합을 줄이고 일반화 능력을 향상시키는가?
• RQ5 생성된 합성 영상가 비즈니스-루프 파이프라인을 통해 효과적으로 캐릭터라이징하고, 데이터셋의 다양성과 품질을 향상시킬 수 있는가?

주요 결과

• 완전히 합성된 데이터셋으로 훈련된 분류기는 상위-1 정확도 47.29%를 기록했으며, 실수 데이터로 훈련된 경우의 54.05%에 비해 다소 낮지만 유사한 성능을 보였다.
• 완전히 합성된 데이터셋에서의 상위-5 정확도는 96.85%로 실수 데이터셋의 96.96%와 매우 유사하여 강력한 일반화 능력을 보였다.
• 실수-소형 데이터셋(250장)만으로도 상위-1 정확도가 53.41%에 도달하여, 합성 데이터가 데이터 부족 문제를 효과적으로 보완할 수 있음을 시사했다.
• 하이브리드 데이터셋(실수 50%, 합성 50%)은 상위-1 정확도 54.13%를 기록했으며, 실수 데이터 전용 기준(54.05%)을 略로 초월했다.
• 완전히 합성된 데이터셋은 훈련 중 수렴 속도가 빨라, 최적화 동역학을 향상시킬 수 있는 눈에 띄지 않는 차별 특징이 존재했기 때문일 것으로 추정된다.
• 임상 전문가들은 합성 영상가 시각적으로 타당하고 임상적으로 관련성이 있음을 확인했으며, 이는 실제 의료 AI 응용 분야에서의 활용 가능성을 뒷받침한다.

Figure 3 : Summary of the four steps of the generation pipeline for skin disease data augmentation.