[論文レビュー] Towards Concept-based Interpretability of Skin Lesion Diagnosis using Vision-Language Models

Cristiano Patrício, Luís F. Teixeira+1 more|arXiv (Cornell University)|Nov 24, 2023

Cancer-related molecular mechanisms research被引用数 6

ひとこと要約

本稿では、視覚言語モデルを活用し、皮膚腫瘍診断のための概念ベースの解釈可能性フレームワークを提案する。専門家がアノテートした皮膿的概念をテキスト埋め込みとして用いる。単純な埋め込み学習戦略によりCLIPを微調整することで、概念アノテートデータの必要量を著しく削減しつつ、最先端の性能を達成し、ベースラインのCLIPおよびLLMが生成した記述を用いたモデルを上回る性能を発揮する。

ABSTRACT

Concept-based models naturally lend themselves to the development of inherently interpretable skin lesion diagnosis, as medical experts make decisions based on a set of visual patterns of the lesion. Nevertheless, the development of these models depends on the existence of concept-annotated datasets, whose availability is scarce due to the specialized knowledge and expertise required in the annotation process. In this work, we show that vision-language models can be used to alleviate the dependence on a large number of concept-annotated samples. In particular, we propose an embedding learning strategy to adapt CLIP to the downstream task of skin lesion classification using concept-based descriptions as textual embeddings. Our experiments reveal that vision-language models not only attain better accuracy when using concepts as textual embeddings, but also require a smaller number of concept-annotated samples to attain comparable performance to approaches specifically devised for automatic concept generation.

研究の動機と目的

• 臨床的意思決定プロセスに整合する、概念ベースで解釈可能な皮膚腫瘍診断システムの開発。
• 視覚言語モデルのゼロショット能力を活用することで、高価な専門家がアノテートした概念データセットへの依存を低減すること。
• 専門家が選択した皮膿的概念をテキスト埋め込みとして用いることで、分類精度と解釈可能性を向上させること。
• CLIP上で単純な埋め込み学習手順を適用することで、自動概念生成に特化したモデルと同等またはそれを上回る性能を達成できることを示すこと。

提案手法

• 画像とテキストの投影ヘッドを統合して、共通のマルチモodal埋め込み空間を学習するため、CLIPを微調整する。
• 分類には、画像特徴量と疾患ラベルまたは皮膿的概念のテキスト埋め込みとの間のコサイン類似度を用いる。
• 概念ベースの類似度スコアの上に線形分類器を適用し、解釈可能性のための概念バブリングモデル（CBM）として機能させる。
• 画像セグメンテーションを用いて、モデルが腫瘍領域に注目できるようにし、耐性と性能を向上させる。
• 類似度最大化と非一致ペアの類似度最小化を目的関数として、対照的学習を用いて投影ヘッドを訓練する。
• 事前学習済みのCLIP画像およびテキストエンコーダーを固定バックボーンとして用い、微調整対象は投影層のみとする。

実験結果

リサーチクエスチョン

• RQ1 専門家がアノテートした皮膿的概念をテキストプロンプトとして用いることで、CLIPのような視覚言語モデルが皮膚腫瘍診断に効果的に適応可能か？
• RQ2 専門家が選択した皮膿的概念をテキスト埋め込みとして用いることで、LLMが生成した記述を用いた場合よりも高い性能が得られるか？
• RQ3 CLIP上で単純な埋め込み学習手順を適用することで、自動概念生成に特化したモデルと同等の性能を達成できるか？
• RQ4 概念アノテートデータのサンプル数がモデル性能に与える影響は何か？また、少ないアノテートデータでも一般化可能か？

主な発見

• 提案手法は、元のCLIPと比較して、Derm7ptでは平均11.5%、ISIC 2018では9.2%のバランス精度向上を達成した。
• 専門家がアノテートした皮膿的概念をテキスト埋め込みとして用いることで、LLMが生成した記述を用いた場合よりも高い性能を発揮し、Derm7ptでは2.3%、ISIC 2018では7.5%の向上を示した。
• MONETと同等の性能を達成したが、訓練時間は約80分の1にまで短縮された。
• わずか40〜60枚の画像-ラベルペアを用いても、CLIPの変種を提案手法で微調整することで、ISIC 2018でMONETの性能に達した。
• 臨床知識（例：ABCDE基準）と整合する概念ベースの説明を提供でき、解釈可能性が向上した。
• CBM戦略は、すべてのデータセットおよびCLIPバリアントでベースラインを上回り、特にISIC 2018で最大+7.5%の向上を示した。