[論文レビュー] Crowdsourcing Dermatology Images with Google Search Ads: Creating a Real-World Skin Condition Dataset

Abbi Ward, Jimmy Li+18 more|arXiv (Cornell University)|Feb 28, 2024

Cutaneous Melanoma Detection and ManagementMedicine被引用数 3

ひとこと要約

本稿では、Google Search広告を活用したスケーラブルなクラウドソーシング手法を提示し、一般市民から実世界の皮膚科画像を収集した。その結果、5,033人の寄与者から得られた10,408枚の画像を含むSCINデータセットが構築された。このデータセットには皮膚科医が確認したラベル、推定フィッツパトリック皮膚タイプ（eFST）、モン皮膚トーン（eMST）が含まれており、一般的で一時的な皮膚疾患および多様な皮膚色を広くカバーしており、97.5%の画像が真正の臨床例であることが確認された。

ABSTRACT

Background: Health datasets from clinical sources do not reflect the breadth and diversity of disease in the real world, impacting research, medical education, and artificial intelligence (AI) tool development. Dermatology is a suitable area to develop and test a new and scalable method to create representative health datasets. Methods: We used Google Search advertisements to invite contributions to an open access dataset of images of dermatology conditions, demographic and symptom information. With informed contributor consent, we describe and release this dataset containing 10,408 images from 5,033 contributions from internet users in the United States over 8 months starting March 2023. The dataset includes dermatologist condition labels as well as estimated Fitzpatrick Skin Type (eFST) and Monk Skin Tone (eMST) labels for the images. Results: We received a median of 22 submissions/day (IQR 14-30). Female (66.72%) and younger (52% < age 40) contributors had a higher representation in the dataset compared to the US population, and 32.6% of contributors reported a non-White racial or ethnic identity. Over 97.5% of contributions were genuine images of skin conditions. Dermatologist confidence in assigning a differential diagnosis increased with the number of available variables, and showed a weaker correlation with image sharpness (Spearman's P values <0.001 and 0.01 respectively). Most contributions were short-duration (54% with onset < 7 days ago ) and 89% were allergic, infectious, or inflammatory conditions. eFST and eMST distributions reflected the geographical origin of the dataset. The dataset is available at github.com/google-research-datasets/scin . Conclusion: Search ads are effective at crowdsourcing images of health conditions. The SCIN dataset bridges important gaps in the availability of representative images of common skin conditions.

研究の動機と目的

• 一般的で一時的かつ悪性でない皮膚疾患を反映する代表的で多様な実世界皮膚科データセットの不足に対処すること。
• 肌の色が濃い人や白人以外の集団が不足している臨床データセットに起因するバイアスを是正すること。
• 標的となる人種的・文化的背景のサンプリングを伴わずに、患者が自ら撮影した皮膚科画像を収集するスケーラブルで低コストな方法を開発すること。
• 臨床グレードのラベルと皮膚色の推定値を備えた、公開・オープンアクセスのデータセットを構築し、公平なAI開発と医療教育を支援すること。
• Web検索広告を活用して、健康情報を探している個人を対象に健康データ収集が可能であることを実証すること。

提案手法

• 一般的な皮膚症状（例：発疹、にきび、感染症）に関連するキーワードを用いて、皮膚科情報を探している人々に届くようターゲティングされたGoogle Search広告を展開した。
• ユーザーを同意を得たウェブベースのフォームに誘導し、自撮り画像に加え、自己報告された症状、疾患持続期間、人口統計情報の提出を促した。
• 皮膚科医が確認した診断、推定フィッツパトリック皮膚タイプ（eFST）、モン皮膚トーン（eMST）を、各画像に対してラベリングした。
• 倫理的なデータ収集とプライバシー保護のため、同意手続きを徹底し、データはGitHubにホスティングして一般公開した。
• ラベル品質、画像品質との相関、皮膚色および疾患タイプの分布を評価する統計解析を実施した。
• eFSTおよびeMSTの分布を、既知の人口推定値と照合して、データセットの代表性を評価した。

Figure 1: A: Funnel from ad view to submission to the SCIN dataset. B, C: Monthly ad impressions, click-through rates, and submission rates by gender and age

実験結果

リサーチクエスチョン

• RQ1 Google Search広告を用いることで、人種的・文化的背景のターゲティングなしに、多様で実世界の対象者を皮膚科画像の寄与に誘致できるか？
• RQ2 SCINデータセットは、アレルギー性、感染性、炎症性疾患を含む、一般的な皮膚疾患の真の分布をどの程度反映しているか？
• RQ3 米国における既知の人口分布と比較して、SCINデータセットにおける皮膚色の推定値（eFSTおよびeMST）の分布はいかがな特徴を示すか？
• RQ4 自己報告された症状および画像品質の情報が、画像ベースの鑑別診断における皮膚科医の診断的確信度を向上させるか？
• RQ5 クラウドソーシングで得られた患者が自ら撮影した画像は、臨床データベースに由来するデータセットと比較して、より公平で一般化可能なAIモデルの学習を可能にするか？

主な発見

• SCINデータセットは8か月間にわたり5,033人の寄与者から10,408枚の画像を収集し、1日あたりの中央値は22枚（四分位範囲14〜30）であった。
• 寄与者の66.72%が女性であり、52%が40歳未塔、32.6%が白人以外の民族的・人種的背景を報告しており、米国人口と比較して若年層および女性の寄与がやや高いことが示された。
• 画像寄与の97.5%以上が真正の皮膚科疾患であると確認され、そのうち89%がアレルギー性・感染性・炎症性疾患に分類された。
• 皮膚科医の診断的確信度は、利用可能な変数（症状、画像品質）の数が増えるにつれて向上し、画像の鮮明さとも統計的に有意な弱い相関を示した（スピアマンのρ < 0.001および0.01、それぞれ）。
• eFSTおよびeMSTの分布は寄与者の地理的起源を反映しており、特にMST 8+のカテゴリが相対的に少ないことから、最も濃い皮膚色のカテゴリが不足していることが示された。
• 本データセットは米国におけるFSTおよびMSTの分布のベンチマークを提供し、今後の皮膚科分野における皮膚色および皮膚タイプの研究、特にAIモデルの公平性評価に貢献する。

Figure 2: A: Sankey diagram illustrating dropout at each step of the data curation process for the SCIN dataset B: Distribution of image sharpness and exposure quality scores C: Dermatologist label confidence by image exposure quality and sharpness score D: Dermatologist label confidence by number o