[논문 리뷰] GAN-based generative modelling for dermatological applications -- comparative study

Sandra Carrasco Limeros, Sylwia Majchrowska외 5명|arXiv (Cornell University)|2022. 08. 24.

AI in cancer detection인용 수 6

한 줄 요약

이 연구는 ISIC 2020 피부 병변 데이터셋을 사용하여 중심화된 및 피어드(분산된) 환경에서 조건부 및 비조건부 GANs—특히 StyleGAN2-ADA—를 활용해 합성 피부과 영상 생성을 평가한다. 피어드 GAN 학습이 중심화된 학습과 유사한 영상 품질과 다양성을 달성하면서도 수렴 속도가 빠르며, 잠재 공간 분석을 통해 생성된 샘플의 진정성과 일반화 능력이 확인됨.

ABSTRACT

The lack of sufficiently large open medical databases is one of the biggest challenges in AI-powered healthcare. Synthetic data created using Generative Adversarial Networks (GANs) appears to be a good solution to mitigate the issues with privacy policies. The other type of cure is decentralized protocol across multiple medical institutions without exchanging local data samples. In this paper, we explored unconditional and conditional GANs in centralized and decentralized settings. The centralized setting imitates studies on large but highly unbalanced skin lesion dataset, while the decentralized one simulates a more realistic hospital scenario with three institutions. We evaluated models' performance in terms of fidelity, diversity, speed of training, and predictive ability of classifiers trained on the generated synthetic data. In addition we provided explainability through exploration of latent space and embeddings projection focused both on global and local explanations. Calculated distance between real images and their projections in the latent space proved the authenticity and generalization of trained GANs, which is one of the main concerns in this type of applications. The open source code for conducted studies is publicly available at \url{https://github.com/aidotse/stylegan2-ada-pytorch}.

연구 동기 및 목표

• 피부과 영상 데이터셋의 제한성, 불균형성, 개인정보 보호 제약 문제를 해결하기 위해 GAN을 활용해 합성 피부 병변 영상을 생성함.
• 중앙집중형 및 피어드 학습 환경에서 비조건부 및 조건부 GAN의 성능을 평가함.
• 하류 분류 작업을 위한 유효성, 다양성, 유틸리티를 평가함. 특히 테두리 사례(엣지 케이스)에 중점을 둠.
• 잠재 공간 분석 및 투영 메트릭스를 통해 생성된 영상의 진정성과 일반화 능력을 조사함.
• 데이터 수집 시 발생하는 잡음(예: 피부경화경계)이 모델의 일반화 능력과 분류기 편향에 미치는 영향을 탐색함.

제안 방법

• ISIC 2020 데이터셋을 기반으로 조건부 및 비조건부 영상 생성을 위해 StyleGAN2-ADA를 적응형 디스크리미네이터 증강(ADA) 기법으로 학습함.
• 비독립 동일분포(NIID) 데이터 분포를 가진 3개 병원을 시뮬레이션하는 피어드 학습 환경을 구현함. 영상 데이터를 공유하지 않고 로컬에서 GAN을 학습하고 모델 가중치를 집계함.
• 진정성과 일반화를 평가하기 위해 잠재 공간 투영 및 거리 메트릭스(예: 실제 영상과 생성 영상의 투영 간 L2 거리)를 사용함.
• 특징의 얽힘과 편향을 평가하기 위해 잠재 방향 편집 및 클래스 조건부 임베딩을 통한 글로벌 및 로컬 설명 가능성 분석을 수행함.
• 실제 데이터 및 합성 데이터를 기반으로 하류 분류기를 학습시켜 예측 성능과 데이터 유효성을 평가함.
• 특히 테두리 사례에 중점을 두고, 영상 품질, 다양성, 학습 속도, 분류기 정확도 등 다양한 성능 지표를 평가함.

실험 결과

연구 질문

• RQ1 피부과 영상에서 중앙집중형과 피어드 학습 환경 간 GAN 기반 합성 데이터 생성의 성능는 어떻게 비교되는가?
• RQ2 생성된 합성 영상가 실존하는 피부 병변 데이터의 진정성과 다양성을 얼마나 잘 유지하는가. 특히 희귀하거나 모호한(엣지) 케이스에서 어떻게 되는가?
• RQ3 잠재 공간 분석을 통해 생성 영상의 진정성과 일반화 능력을 확인할 수 있으며, 실제 영상과 합성 영상의 투영이 잠재 공간에서 어떻게 비교되는가?
• RQ4 데이터 수집 시 발생하는 잡음(예: 피부경화경계)은 합성 데이터의 모델 일반화 능력과 분류기 편향에 어떤 영향을 미치는가?
• RQ5 합성 데이터가 하류 분류 성능에 어떤 영향을 미치며, 수거 프로토콜과의 의도하지 않은 상관관계를 유도하는가?

주요 결과

• 피어드 GAN 학습이 중심화된 학습과 유사한 영상 품질과 다양성을 달성하면서도 수렴 속도가 빠르며, 소규모 기관에도 적합함.
• 잠재 공간 분석을 통해 실제 영상과 생성 영상의 투영 간 명확한 분리가 확인되었으며, 측정된 거리 값은 합성 샘플의 진정성과 일반화 능력을 확인함.
• 실제 데이터만으로 학습한 하류 분류기가 합성 데이터를 추가로 사용한 경우에 비해 성능 향상이 거의 없었으며, 이는 실제 데이터셋이 이미 충분히 크고 대표성을 가짐을 시사함.
• 피부경화경계의 존재가 악성 멜라노마 클래스 레이블과 얽혀 있어, 잠재 공간 편집 과정에서 의도하지 않은 특징 변화를 유도하며 데이터 무결성을 해칠 수 있음.
• 설명 가능성 분석을 통해 분류기 예측이 수거 프로토콜과 환자 특성(특히 종양의 면적 차지 비율)에 의해 흔히 편향됨을 확인함.
• GAN 기반 합성 데이터 생성은 강력한 개인정보 보호 보장을 제공하며, 데이터 증강 및 익명화에 효과적이지만, 잡음이나 편향을 유도할 수 있으므로 주의 깊은 점검이 필요함.