[論文レビュー] SkinCon: A skin disease dataset densely annotated by domain experts for fine-grained model debugging and analysis

Roxana Daneshjou, Mert Yüksekgönül+3 more|arXiv (Cornell University)|Feb 1, 2023

Cutaneous Melanoma Detection and Management被引用数 4

ひとこと要約

SkinCon は、Fitzpatrick 17k から 3,230 枚、Diverse Dermatology Images データセットから 656 枚の画像を含む皮膚科分野のデータセットであり、皮膚科医によって 'てんとう虫', 'けんこう', 'けんそく' などの 48 項の臨床的関連性の高い皮膿病変概念が濃密にアノテートされている。このデータセットにより、概念ベースの説明と事後的コンセプトボトルネックモデルを通じて、微細なモデルデバッグと解釈可能な AI が可能となり、22 項の概念が少なくとも 50 枚の画像を、32 項が 30 枚以上を有するため、広範かつ多様な疾患の概念アノテーションを備えた医療分野で初のデータセットである。

ABSTRACT

For the deployment of artificial intelligence (AI) in high-risk settings, such as healthcare, methods that provide interpretability/explainability or allow fine-grained error analysis are critical. Many recent methods for interpretability/explainability and fine-grained error analysis use concepts, which are meta-labels that are semantically meaningful to humans. However, there are only a few datasets that include concept-level meta-labels and most of these meta-labels are relevant for natural images that do not require domain expertise. Densely annotated datasets in medicine focused on meta-labels that are relevant to a single disease such as melanoma. In dermatology, skin disease is described using an established clinical lexicon that allows clinicians to describe physical exam findings to one another. To provide a medical dataset densely annotated by domain experts with annotations useful across multiple disease processes, we developed SkinCon: a skin disease dataset densely annotated by dermatologists. SkinCon includes 3230 images from the Fitzpatrick 17k dataset densely annotated with 48 clinical concepts, 22 of which have at least 50 images representing the concept. The concepts used were chosen by two dermatologists considering the clinical descriptor terms used to describe skin lesions. Examples include "plaque", "scale", and "erosion". The same concepts were also used to label 656 skin disease images from the Diverse Dermatology Images dataset, providing an additional external dataset with diverse skin tone representations. We review the potential applications for the SkinCon dataset, such as probing models, concept-based explanations, and concept bottlenecks. Furthermore, we use SkinCon to demonstrate two of these use cases: debugging mistakes of an existing dermatology AI model with concepts and developing interpretable models with post-hoc concept bottleneck models.

研究の動機と目的

• 医療分野の AI データセットにおいて、臨床的関連性があり、多様な疾患にわたる概念のアノテーションが不足しているという問題に対処すること。
• 分野の専門家がラベル付けした臨床的記述子を提供することで、皮膚科 AI における微細な誤り分析とモデルの解釈可能性を可能にすること。
• 標準化された臨床用語の語彙を用いて、概念ベースの説明と事後的解釈可能なモデルの開発を支援すること。
• 多様な肌色と病変タイプをカバーすることで、モデルの頑健性と公平性の分析を可能にすること。
• 今後の解釈可能で汎用性の高い皮膚科 AI 分野の研究の基盤となるデータセットを構築すること。

提案手法

• 皮膚科医が、既存の皮膚科用語に基づき、48 項の臨床的に意味のある皮膚病変記述子（例：'てんとう虫'、'けんこう'）を選定した。
• Fitzpatrick 17k および Diverse Dermatology Images (DDI) データセットからの画像が、2段階のアノテーションおよび検証プロセスを用いて、これらの 48 項の概念でラベル付けされた。
• データセットには、Fitzpatrick 17k から 3,230 枚の画像、DDI から 656 枚の画像が含まれており、25 項の概念が 50 枚以上、32 項が 30 枚以上を有する。
• 既存の皮膚科 AI モデルにおける誤分類のデバッグのために、概念的対照的説明を用いた概念ベースのモデル解釈が実証された。
• SkinCon の概念を用いて、事後的コンセプトボトルネックモデルを訓練し、モデルの解釈可能性とパフォーマンスの向上を図った。
• データセットは https://SkinCon-dataset.github.io で公開され、医療 AI 分野における再現性のある研究を支援している。

実験結果

リサーチクエスチョン

• RQ1 臨床的関連性があり、多様な疾患にわたる概念が濃密にアノテートされた皮膚科データセットは、モデルの解釈可能性と誤り分析を向上させることができるか？
• RQ2 概念ベースの説明は、皮膚科 AI におけるモデルの誤分類を特定・診断するためにどれほど効果的か？
• RQ3 SkinCon を用いて訓練された事後的コンセプトボトルネックモデルは、既存の皮膚科分類器の解釈可能性をどの程度向上させられるか？
• RQ4 SkinCon に含まれる多様な肌色が、モデルの誤り分析における公平性と一般化性にどのような影響を与えるか？
• RQ5 皮膚科 AI モデル開発に応用する際、現在の臨床用語の語彙とアノテーション手法にどのような限界があるか？

主な発見

• SkinCon には、Fitzpatrick 17k から 3,230 枚、DDI から 656 枚の画像が含まれており、皮膚科医によって 48 項の臨床的要因がアノテートされており、そのうち 22 項が少なくとも 50 枚の画像を有する。
• このデータセットにより、モデルが皮膚病変を誤って分類する理由を明らかにする概念ベースの説明が可能となり、たとえば 'けんこう' や 'けんそく' の存在が誤診の原因であると特定できる。
• SkinCon の概念を用いて訓練された事後的コンセプトボトルネックモデルは、モデルの解釈可能性を向上させるとともに、臨床的特徴に基づいた誤り分析を可能にした。
• このデータセットは、異なる病変タイプや肌色におけるモデル挙動のスライス発見とプローブ分析を支援する。
• 努力を重ねたものの、SkinCon は依然として不均衡であり、一般的な概念（例：'かはつう'、'てんとう虫'）が過剰に、まれな特徴（例：'のうとう'）が不足している。
• データセットには、Fitzpatrick 皮膚タイプ I～IV の割合が高く、V～VI が不足しているため、今後の拡張によって暗い肌色の表現を改善する必要がある。