[论文解读] A ChatGPT Aided Explainable Framework for Zero-Shot Medical Image Diagnosis

Jiaxiang Liu, Tianxiang Hu+4 more|arXiv (Cornell University)|Jul 5, 2023

COVID-19 diagnosis using AI被引用 14

一句话总结

本文提出一种基于 CLIP 的零-shot 医学影像分类框架，并以 ChatGPT 生成的视觉症状提示进行增强，在不进行训练的情况下提高准确性和可解释性，在五个医学数据集上进行评估。

ABSTRACT

Zero-shot medical image classification is a critical process in real-world scenarios where we have limited access to all possible diseases or large-scale annotated data. It involves computing similarity scores between a query medical image and possible disease categories to determine the diagnostic result. Recent advances in pretrained vision-language models (VLMs) such as CLIP have shown great performance for zero-shot natural image recognition and exhibit benefits in medical applications. However, an explainable zero-shot medical image recognition framework with promising performance is yet under development. In this paper, we propose a novel CLIP-based zero-shot medical image classification framework supplemented with ChatGPT for explainable diagnosis, mimicking the diagnostic process performed by human experts. The key idea is to query large language models (LLMs) with category names to automatically generate additional cues and knowledge, such as disease symptoms or descriptions other than a single category name, to help provide more accurate and explainable diagnosis in CLIP. We further design specific prompts to enhance the quality of generated texts by ChatGPT that describe visual medical features. Extensive results on one private dataset and four public datasets along with detailed analysis demonstrate the effectiveness and explainability of our training-free zero-shot diagnosis pipeline, corroborating the great potential of VLMs and LLMs for medical applications.

研究动机与目标

• 验证将大型语言模型（ChatGPT）与视觉-语言模型（CLIP）集成，以提升零样本医学影像诊断的可行性。
• 通过生成疾病特异性的视觉症状来引导基于 CLIP 的分类，以提升可解释性。
• 在多样化的医学数据集上评估所提框架，以评估准确性提升和可解释性。
• 研究影响性能和解释的提示设计与聚合策略。

提出的方法

• 使用 CLIP 从医学影像中提取视觉特征，并与文本表示计算相似度。
• 使用设计好的提示向 ChatGPT 询问，以生成描述诊断中有用特征的疾病特异性视觉症状。
• 用 CLIP 的文本编码器对 ChatGPT 生成的症状文本进行编码，并在各症状之间聚合相似度分数，以获得每个疾病的最终分数。
• 通过选择图像特征与症状文本之间平均相似度最高的类别来得到最终诊断。
• 设计提示以强调医学相关特征并在文献中 grounding，以提高描述质量并减少幻觉。
• 比较聚合策略（均值 vs 最大值）和提示设计，并以 OpenFlamingo 作为基线进行对比。

实验结果

研究问题

• RQ1 在与 CLIP 搭配使用时，ChatGPT 生成的疾病症状是否能改善零样本医学影像分类？
• RQ2 提示设计如何影响 CLIP-LLM 流水线中的解释质量和诊断准确性？
• RQ3 哪种聚合策略（均值 vs 最大值）在不同医学数据集上能实现更好的零样本诊断性能？
• RQ4 在医学诊断任务中，所提方法与如 OpenFlamingo 等开放多模态模型相比如何？

主要发现

• 该方法在所有五个数据集上都对标准 CLIP 零样本分类显示出一致的提升。
• 在 Pneumonia 数据集上，与仅使用类别名的 CLIP 相比，准确率提升最多 11.73 个百分点。
• 在 Shenzhen 数据集上，准确率提升最多 17.37 个百分点。
• 与 OpenFlamingo 相比，大多数数据集上该框架通常领先 2.59% 到 5.80%，BrainTumor 数据集显示 5.59% 的提升。
• 通过所设计的提示，五个数据集中的四个显示出相对于基线提示的准确性提升，证明了提示工程的影响。
• 该方法提供可解释的注意力图，显示图像区域与 ChatGPT 生成的症状之间的一致性，支持可解释性。