[논문 리뷰] Augmenting medical image classifiers with synthetic data from latent diffusion models

Luke W. Sagers, James A. Diao외 7명|arXiv (Cornell University)|2023. 08. 23.

AI in cancer detection인용 수 12

한 줄 요약

이 논문은 잠재 확산 모델에서 생성된 합성 데이터가 실제 데이터가 적은 설정에서 피부 질환 분류기를 다소 개선할 수 있으며, 실제 데이터가 증가하고 합성-실제 비율이 10:1을 초과하면 이득이 감소한다는 점을 보여준다.

ABSTRACT

While hundreds of artificial intelligence (AI) algorithms are now approved or cleared by the US Food and Drugs Administration (FDA), many studies have shown inconsistent generalization or latent bias, particularly for underrepresented populations. Some have proposed that generative AI could reduce the need for real data, but its utility in model development remains unclear. Skin disease serves as a useful case study in synthetic image generation due to the diversity of disease appearance, particularly across the protected attribute of skin tone. Here we show that latent diffusion models can scalably generate images of skin disease and that augmenting model training with these data improves performance in data-limited settings. These performance gains saturate at synthetic-to-real image ratios above 10:1 and are substantially smaller than the gains obtained from adding real images. As part of our analysis, we generate and analyze a new dataset of 458,920 synthetic images produced using several generation strategies. Our results suggest that synthetic data could serve as a force-multiplier for model development, but the collection of diverse real-world data remains the most important step to improve medical AI algorithms.

연구 동기 및 목표

• 피부과 AI에서 대표성 부족과 데이터 부족 문제를 해결하기 위해 합성 데이터 평가의 필요성을 제시한다.
• 잠재 확산 모델로부터의 합성 데이터가 다양한 실제 데이터 구간에서 피부 질환 분류에 어떤 영향을 미치는지를 정량화한다.
• 생성 전략을 특징짓고 그것이 피부 톤에 따른 모델 공정성에 미치는 영향을 평가한다.

제안 방법

• DreamBooth 미세 조정을 사용한 Stable Diffusion으로 9가지 피부 질환 조건에 걸쳐 458,920장의 합성 이미지를 생성한다.
• 다양한 생성 방법(inpainting, in-then-outpainting, text-to-image)과 이미지 변환의 유무를 포함하여 합성 이미지를 보강한 실제 데이터로 분류기를 학습한다.
• 클래스당 1, 16, 32, 64, 128, 228의 다양한 실제 데이터 양과 합성-실제 비율에 걸쳐 성능을 평가한다.
• 텍스트-투-이미지로 생성된 것으로 매 실제 이미지당 합성 이미지를 증가시키는 용량 반응(dose-response)을 평가한다(0–75).
• 악성 여부 분류를 연구하기 위해 Stanford DDI 데이터셋을 사용하여 Fitzpatrick 피부 유형 전반에 걸친 성능을 검토한다.
• 합성 보강과 전통적 데이터 보강을 비교하고 BH 보정을 사용하여 통계적 유의성을 분석한다.

실험 결과

연구 질문

• RQ1 실제 데이터가 제한될 때 잠재 확산 생성 합성 이미지가 피부 질환 분류기를 개선할 수 있는가?
• RQ2 다양한 합성 생성 전략(inpainting, outpainting, text-to-image)이 피부 톤 간의 모델 성능과 공정성에 어떤 영향을 미치는가?
• RQ3 합성-실제 데이터 비율과 정확도 증가 간의 관계는 무엇이며 이득은 포화되는가?
• RQ4 합성 데이터의 이점이 악성 대 양성 피부 분류와 다양한 피부 타입에서 지속되는가?

주요 결과

• 합성 보강은 저데이터 설정에서 정확도를 향상시키며, 이미지 변환을 사용할 때 클래스당 32개의 실제 이미지에서 최대 13.2포인트의 이득을 얻었다.
• 합성-실제 비율이 10:1를 넘으면 이득이 포화되고 더 많은 실제 데이터가 있을수록 이득은 더 작아진다.
• 세 가지 생성 방법 모두 여러 조건에서 이점을 보였으며, 특히 알레르기 접촉 피부염처럼 일부 질환에서 텍스트-투-이미지가 가장 큰 이득을 보였다.
• 합성 데이터는 Stanford DDI 데이터셋의 모든 Fitzpatrick 피부 유형에서 악성 분류를 개선했으나 다중 검정 보정 후 일부 비교만 유의하게 남았다.
• 대규모 합성 데이터셋(458,920장)이 생성되어 확산 모델을 확장 가능한 데이터 소스로 부각했지만 여전히 실제 데이터가 성능의 주요 동인이다.
• 저자는 추가 연구를 지원하기 위해 458,920장의 합성 이미지를 공개했다.