[论文解读] GSCo: Towards Generalizable AI in Medicine via Generalist-Specialist Collaboration

Sunan He, Yuxiang Nie+22 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出GSCo，一种用于医疗AI的通用-专用协作框架，通过诊断引导的自举方法从医学图像和标签中生成高质量的视觉-语言数据。该研究引入了MedDr，一个在多种模态（放射学、病理学、皮肤病学等）上预训练的通用基础模型，并通过检索增强的推理策略提升其泛化能力，在医学视觉问答、报告生成和图像诊断任务上达到最先进性能，尤其在罕见疾病上表现突出。

ABSTRACT

Generalist foundation models (GFMs) are renowned for their exceptional capability and flexibility in effectively generalizing across diverse tasks and modalities. In the field of medicine, while GFMs exhibit superior generalizability based on their extensive intrinsic knowledge as well as proficiency in instruction following and in-context learning, specialist models excel in precision due to their domain knowledge. In this work, for the first time, we explore the synergy between the GFM and specialist models, to enable precise medical image analysis on a broader scope. Specifically, we propose a cooperative framework, Generalist-Specialist Collaboration (GSCo), which consists of two stages, namely the construction of GFM and specialists, and collaborative inference on downstream tasks. In the construction stage, we develop MedDr, the largest open-source GFM tailored for medicine, showcasing exceptional instruction-following and in-context learning capabilities. Meanwhile, a series of lightweight specialists are crafted for downstream tasks with low computational cost. In the collaborative inference stage, we introduce two cooperative mechanisms, Mixture-of-Expert Diagnosis and Retrieval-Augmented Diagnosis, to harvest the generalist's in-context learning abilities alongside the specialists' domain expertise. For a comprehensive evaluation, we curate a large-scale benchmark featuring 28 datasets and about 250,000 images. Extensive results demonstrate that MedDr consistently outperforms state-of-the-art GFMs on downstream datasets. Furthermore, GSCo exceeds both GFMs and specialists across all out-of-domain disease diagnosis datasets. These findings indicate a significant paradigm shift in the application of GFMs, transitioning from separate models for specific tasks to a collaborative approach between GFMs and specialists, thereby advancing the frontiers of generalizable AI in medicine.

研究动机与目标

• 解决用于训练通用视觉-语言模型的高质量、多样化医学图像-文本数据集稀缺的问题。
• 提升医疗基础模型的泛化能力，特别是针对罕见或未见疾病。
• 开发一个统一的通用模型，能够处理多种医学影像模态，包括放射学、病理学、皮肤病学、眼底照相和内窥镜。
• 通过利用外部知识的检索增强医疗诊断策略，提升推理的可靠性。
• 展示检索增强生成（RAG）在医疗视觉-语言模型中的有效性与优势，这是该领域的一项新颖应用。

提出的方法

• 提出一种诊断引导的自举方法，利用预训练的视觉-语言模型从图像-标签对中生成详细的医学报告（发现和结论），确保文本内容与视觉内容一致。
• 通过利用现有医学图像数据集中的标签级注释，构建大规模多模态医学视觉-语言数据集，将文本描述丰富至超出简单标题的水平。
• 在构建的数据集上训练MedDr，一个通用基础模型，使其能够在多种医学影像任务和模态上实现零样本或少样本适应。
• 引入一种检索增强的推理策略，在推理过程中检索最相似的前k张图像及其注释，以指导和优化模型预测。
• 采用基于相似度的简单检索机制（如CLIP嵌入）来检索相关样本，无需微调，从而提升鲁棒性和准确性，尤其在罕见疾病上表现更优。
• 通过投票或拼接检索到的报告生成最终预测，提升可靠性并减少医学报告生成和诊断中的幻觉现象。

实验结果

研究问题

• RQ1 从图像-标签对中通过诊断引导生成数据，是否能产生比纯文本方法更高品质、更一致的视觉-语言数据集？
• RQ2 在该类数据集上训练的通用基础模型，是否能泛化到包括放射学、病理学、皮肤病学、眼底照相和内窥镜在内的多种医学影像模态？
• RQ3 检索增强推理是否能显著提升医疗视觉-语言模型的准确率和泛化能力，特别是在罕见或未见疾病上？
• RQ4 在不进行微调的情况下，检索增强生成（RAG）在医疗基础模型中的应用是否有效且有益？
• RQ5 在罕见疾病检测任务中，通用模型的性能与专用模型相比如何，尤其是在采用检索增强推理后？

主要发现

• MedDr在BreastMNIST数据集上达到87.8%的准确率，超过专用模型的86.3%，表明其在分布外数据上也具备强大的泛化能力。
• 通过检索增强推理，MedDr在BloodMNIST数据集（训练集中未包含）上达到95.5%的准确率，凸显其对罕见疾病的鲁棒性。
• 在MIMIC-CXR基准上，MedDr生成的报告更全面，包含正常和异常发现，而RadFM通常默认描述为正常状态。
• 检索增强策略在所有评估任务中均提升性能——视觉问答、医学报告生成和图像诊断——优于不使用检索的MedDr以及使用检索的Med-Flamingo。
• 基于投票的检索策略在多个数据集上取得比基线方法更高的指标，表明检索到的样本质量高且相关性强。
• 定性分析表明，与RadFM等专用模型相比，MedDr生成的报告更准确且上下文更丰富，尤其在识别和描述异常发现方面表现更优。