[논문 리뷰] Crowdsourcing Dermatology Images with Google Search Ads: Creating a Real-World Skin Condition Dataset

Abbi Ward, Jimmy Li외 18명|arXiv (Cornell University)|2024. 02. 28.

Cutaneous Melanoma Detection and ManagementMedicine인용 수 3

한 줄 요약

이 논문은 실생활 피부과 영상 수집을 위해 Google 검색 광고를 활용한 확장 가능한 커스터마이징 방법을 제시하며, 5,033명의 기여자로부터 온 10,408幅의 영상으로 구성된 SCIN 데이터셋을 생성하였다. 이 데이터셋은 피부과 전문의가 확인한 레이블, 추정된 피츠패트릭 피부 유형(eFST), 몰크 피부 톤(eMST)을 포함하여 일반적이고 일시적인 피부 질환과 다양한 피부 톤을 광범위하게 반영하고 있으며, 97.5%의 영상이 실제 임상 사례로 확인되었다.

ABSTRACT

Background: Health datasets from clinical sources do not reflect the breadth and diversity of disease in the real world, impacting research, medical education, and artificial intelligence (AI) tool development. Dermatology is a suitable area to develop and test a new and scalable method to create representative health datasets. Methods: We used Google Search advertisements to invite contributions to an open access dataset of images of dermatology conditions, demographic and symptom information. With informed contributor consent, we describe and release this dataset containing 10,408 images from 5,033 contributions from internet users in the United States over 8 months starting March 2023. The dataset includes dermatologist condition labels as well as estimated Fitzpatrick Skin Type (eFST) and Monk Skin Tone (eMST) labels for the images. Results: We received a median of 22 submissions/day (IQR 14-30). Female (66.72%) and younger (52% < age 40) contributors had a higher representation in the dataset compared to the US population, and 32.6% of contributors reported a non-White racial or ethnic identity. Over 97.5% of contributions were genuine images of skin conditions. Dermatologist confidence in assigning a differential diagnosis increased with the number of available variables, and showed a weaker correlation with image sharpness (Spearman's P values <0.001 and 0.01 respectively). Most contributions were short-duration (54% with onset < 7 days ago ) and 89% were allergic, infectious, or inflammatory conditions. eFST and eMST distributions reflected the geographical origin of the dataset. The dataset is available at github.com/google-research-datasets/scin . Conclusion: Search ads are effective at crowdsourcing images of health conditions. The SCIN dataset bridges important gaps in the availability of representative images of common skin conditions.

연구 동기 및 목표

• 일상적이고 일시적, 악성 종양이 아닌 피부 질환을 반영하는 대표성 있고 다양한 실생활 피부과 데이터셋의 부족을 해소하기 위해.
• 어두은 피부 톤과 비백인 인구를 저조하게 반영하는 임상 데이터셋의 편향을 해소하기 위해.
• 대상 인구 통계 샘플링 없이도 환자들이 생성한 피부과 영상을 저비용으로 확장 가능하게 수집하는 방법을 개발하기 위해.
• 임상 수준의 레이블과 피부 톤 추정치를 포함한 공개 접근이 가능한 오픈 액세스 데이터셋을 구축하여 공정한 AI 개발과 의료 교육을 지원하기 위해.
• 웹 검색 광고를 활용해 건강 정보를 적극적으로 찾는 사람들을 활용해 건강 데이터 수집의 가능성을 입증하기 위해.

제안 방법

• 일상적인 피부 증상(예: 발진, 여드름, 감염 등)과 관련된 关련 키워드를 사용해 타겟팅된 Google 검색 광고를 배포하여 피부과 정보를 찾는 사람들을 대상으로 하였다.
• 동의를 받은 웹 기반 양식으로 유저가 자가 촬영한 영상, 자가 보고한 증상, 질환 지속 기간, 인구 통계 정보를 제출하도록 유도하였다.
• 각 영상에 대해 피부과 전문의가 확인한 진단, 추정된 피츠패트릭 피부 유형(eFST), 몰크 피부 톤(eMST)을 포함해 수집 및 레이블링 하였다.
• 윤리적인 데이터 수집과 개인정보 보호를 위해 정보 제공 동의 절차를 수립하였으며, 데이터는 공개 접근을 위해 GitHub에 호스팅하였다.
• 레이블 품질, 영상 품질과의 상관관계, 피부 톤 및 질환 유형의 분포를 평가하기 위해 통계 분석을 수행하였다.
• eFST 및 eMST 분포를 실제 인구 통계 추정치와 비교하여 데이터셋의 대표성을 평가하였다.

Figure 1: A: Funnel from ad view to submission to the SCIN dataset. B, C: Monthly ad impressions, click-through rates, and submission rates by gender and age

실험 결과

연구 질문

• RQ1 Google 검색 광고를 통해 인구 통계 샘플링 없이도 다양하고 실생활의 대상자를 효과적으로 유치해 피부과 영상을 기여하게 할 수 있는가?
• RQ2 SCIN 데이터셋은 알레르기성, 감염성, 염증성 질환을 포함한 실제 공통 피부 질환의 분포를 어느 정도 반영하고 있는가?
• RQ3 미국 내 알려진 인구 분포와 비교했을 때, SCIN 데이터셋의 추정 피부 톤(eFST 및 eMST) 분포는 어떻게 다른가?
• RQ4 자기 보고한 증상과 영상 품질 정보의 포함 여부가 영상 기반 차별 진단에서 피부과 전문의의 진단 자신감에 어떤 영향을 미치는가?
• RQ5 커스터마이징을 통해 기여된 환자 생성 영상이 임상 기반 데이터셋보다 공정하고 일반화 능력이 뛰어난 AI 모델 훈련을 지원할 수 있는가?

주요 결과

• SCIN 데이터셋은 8개월 동안 5,033명의 기여자로부터 총 10,408장의 영상을 확보하였으며, 하루 평균 22건의 기여(중위수, IQR 14–30)를 기록하였다.
• 기여자의 66.72%가 여성이며, 52%가 40세 이하로, 32.6%는 비백인 인종 또는 민족 배경을 보고하여 미국 전체 인구에 비해 젊고 여성 비율이 높은 편이었다.
• 기여 영상의 97.5% 이상이 실제 피부과 질환으로 확인되었으며, 그 중 89%는 알레르기성, 감염성 또는 염증성 질환으로 분류되었다.
• 피부과 전문의의 진단 자신감은 증상, 영상 품질 등의 가용 변수 수가 많을수록 향상되었으며, 영상 선명도와는 통계적으로 유의미한 약한 상관관계를 보였다(Spearman’s ρ < 0.001 및 0.01, 각각).
• eFST 및 eMST 분포는 기여자의 지리적 기원과 관련이 있었으며, MST 8+에 해당하는 기여자가 상대적으로 적어 가장 어두운 피부 톤 카테고리가 부족하게 반영된 것으로 나타났다.
• 이 데이터셋은 미국 내 FST 및 MST 분포의 기준이 되며, 향후 피부 톤과 피부 유형에 관한 피부과 연구, 특히 AI 모델의 공정성 평가에 기여할 수 있다.

Figure 2: A: Sankey diagram illustrating dropout at each step of the data curation process for the SCIN dataset B: Distribution of image sharpness and exposure quality scores C: Dermatologist label confidence by image exposure quality and sharpness score D: Dermatologist label confidence by number o