[論文レビュー] A ChatGPT Aided Explainable Framework for Zero-Shot Medical Image Diagnosis

Jiaxiang Liu, Tianxiang Hu+4 more|arXiv (Cornell University)|Jul 5, 2023

COVID-19 diagnosis using AI被引用数 14

ひとこと要約

本論文は、学習を要さず CLIP ベースのゼロショット医療画像分類フレームワークを、ChatGPT が生成した視覚的症状プロンプトで拡張し、精度と explainability を向上させる手法を提案します。five medical datasets で評価。

ABSTRACT

Zero-shot medical image classification is a critical process in real-world scenarios where we have limited access to all possible diseases or large-scale annotated data. It involves computing similarity scores between a query medical image and possible disease categories to determine the diagnostic result. Recent advances in pretrained vision-language models (VLMs) such as CLIP have shown great performance for zero-shot natural image recognition and exhibit benefits in medical applications. However, an explainable zero-shot medical image recognition framework with promising performance is yet under development. In this paper, we propose a novel CLIP-based zero-shot medical image classification framework supplemented with ChatGPT for explainable diagnosis, mimicking the diagnostic process performed by human experts. The key idea is to query large language models (LLMs) with category names to automatically generate additional cues and knowledge, such as disease symptoms or descriptions other than a single category name, to help provide more accurate and explainable diagnosis in CLIP. We further design specific prompts to enhance the quality of generated texts by ChatGPT that describe visual medical features. Extensive results on one private dataset and four public datasets along with detailed analysis demonstrate the effectiveness and explainability of our training-free zero-shot diagnosis pipeline, corroborating the great potential of VLMs and LLMs for medical applications.

研究の動機と目的

• 大規模言語モデル（ChatGPT）とビジョン-言語モデル（CLIP）を統合して、ゼロショット医療画像診断を改善することの実現可能性を Demonstrate the feasibility of integrating a large language model (ChatGPT) with a vision-language model (CLIP) to improve zero-shot medical image diagnosis.
• 疾患特異的視覚的症状を生成して CLIP ベースの分類を導くことで、説明可能性を Improve explainability by generating disease-specific visual symptoms to guide CLIP-based classification.
• 提案されたフレームワークを多様な医療データセットで評価し、精度向上と解釈性を検証するため Evaluate the proposed framework across diverse medical datasets to assess accuracy gains and interpretability.
• パフォーマンスと説明に影響を与える prompt design および aggregation strategies を調査する Investigate prompt design and aggregation strategies that impact performance and explanations.

提案手法

• CLIP を用いて医用画像から視覚特徴を抽出し、テキスト表現との類似度を計算する。
• 設計された prompts で ChatGPT に問い合わせ、診断に有用な特徴を記述する疾病特異的視覚的症状を生成する。
• ChatGPT が生成した症状テキストを CLIP のテキストエンコーダで符号化し、症状間の類似度を集計して疾病ごとの最終スコアを取得する。
• 画像特徴と症状テキスト間の平均類似度の平均を取ることで、最も高い平均類似度を持つカテゴリを選択して最終診断を計算する。
• 説明品質を向上させ、誤認を減らすため、医療的に関連する特徴と文献に基づく grounding を強調する prompts を設計する。
• aggregation strategies（mean vs max）と prompts デザインを比較し、OpenFlamingo をベースラインとして対比する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT 生成の疾病症状は、CLIP を用いたゼロショット医療画像分類を改善できるか？
• RQ2 prompt design が CLIP-LLM パイプラインの説明品質と診断精度にどう影響するか？
• RQ3 どの aggregation strategy（mean vs max）が医療データセット全体でより良いゼロショット診断性能を示すか？
• RQ4 提案手法は医療診断タスクにおける OpenFlamingo のようなオープンマルチモーダルモデルと比較してどうか？

主な発見

• 本手法は全五データセットで標準的な CLIP のゼロショット分類を一貫して改善する。
• Pneumonia では、カテゴリ名のみを使用した CLIP と比較して最大で 11.73 ポイントの精度向上を実現。
• Shenzhen では精度が最大で 17.37 ポイント改善。
• OpenFlamingo と比較して、ほとんどのデータセットで 2.59% から 5.80% の向上を概して達成し、BrainTumor では 5.59% のゲインを示す。
• 設計した prompting により、5 データセット中 4 データセットでベースライン prompting より精度が向上し、プロンプト工学の影響が示される。
• 本手法は ChatGPT が生成した症状と画像領域の整合性を示す解釈可能なアテンションマップを提供し、説明可能性を支持する。