[论文解读] CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images

Seowoo Lee, Jiwon Youn+3 more|arXiv (Cornell University)|Oct 22, 2023

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

CXR-LLAVA 是一个开源的多模态大语言模型，将视觉变换器与大语言模型相结合，用于肺部X光片的解读。该模型在592,580张胸部X光片上进行训练，并在自由文本放射科报告上进行微调，在内部测试集上的F1得分为0.81，在外部测试集上的F1得分为0.62，优于GPT-4-vision和Gemini-Pro-Vision，其在人类放射科医生评估中实现了72.7%的自主报告成功率。

ABSTRACT

Purpose: This study aimed to develop an open-source multimodal large language model (CXR-LLAVA) for interpreting chest X-ray images (CXRs), leveraging recent advances in large language models (LLMs) to potentially replicate the image interpretation skills of human radiologists Materials and Methods: For training, we collected 592,580 publicly available CXRs, of which 374,881 had labels for certain radiographic abnormalities (Dataset 1) and 217,699 provided free-text radiology reports (Dataset 2). After pre-training a vision transformer with Dataset 1, we integrated it with an LLM influenced by the LLAVA network. Then, the model was fine-tuned, primarily using Dataset 2. The model's diagnostic performance for major pathological findings was evaluated, along with the acceptability of radiologic reports by human radiologists, to gauge its potential for autonomous reporting. Results: The model demonstrated impressive performance in test sets, achieving an average F1 score of 0.81 for six major pathological findings in the MIMIC internal test set and 0.62 for seven major pathological findings in the external test set. The model's F1 scores surpassed those of GPT-4-vision and Gemini-Pro-Vision in both test sets. In human radiologist evaluations of the external test set, the model achieved a 72.7% success rate in autonomous reporting, slightly below the 84.0% rate of ground truth reports. Conclusion: This study highlights the significant potential of multimodal LLMs for CXR interpretation, while also acknowledging the performance limitations. Despite these challenges, we believe that making our model open-source will catalyze further research, expanding its effectiveness and applicability in various clinical contexts. CXR-LLAVA is available at https://github.com/ECOFRI/CXR_LLAVA.

研究动机与目标

• 开发一种能够以放射科医生水平性能解读胸部X光片图像的多模态大语言模型。
• 利用公开的胸部X光片数据集，其中包含标注的异常和自由文本放射科报告，用于训练。
• 通过大语言模型提升自动化放射科报告中的诊断准确性和报告质量。
• 创建一个开源模型，以加速医学影像人工智能的研究与临床应用。
• 在真实世界测试场景中，评估该模型与最先进视觉-语言模型的性能表现。

提出的方法

• 在374,881张带有放射学异常标注的胸部X光片（数据集1）上预训练视觉变换器。
• 将视觉编码器与受LLAVA架构启发的大语言模型集成，形成多模态基础模型。
• 主要在217,699张带有自由文本放射科报告的胸部X光片（数据集2）上微调融合后的模型。
• 在预训练过程中使用对比学习目标，以对齐视觉与文本表征。
• 在微调过程中采用视觉-语言指令微调策略，以提升报告生成与诊断推理能力。
• 通过人类放射科医生的评估，对模型在诊断分类与报告质量方面的表现进行评估。

实验结果

研究问题

• RQ1 在多样化胸部X光片数据上进行训练的多模态大语言模型，能否实现与人类放射科医生相当的诊断性能？
• RQ2 CXR-LLAVA在胸部X光片解读任务中，与GPT-4-vision和Gemini-Pro-Vision等领先视觉-语言模型相比表现如何？
• RQ3 CXR-LLAVA在多大程度上能够生成临床上可接受的、自主的放射科报告？
• RQ4 在训练多模态医学大语言模型时，同时使用标注异常和自由文本报告会产生何种影响？
• RQ5 开源CXR-LLAVA能否加速医学影像人工智能领域临床AI的创新？

主要发现

• 在MIMIC内部测试集中，CXR-LLAVA在六种主要病理发现上的平均F1得分为0.81。
• 在外部测试集中，其在七种主要病理发现上的F1得分为0.62，优于GPT-4-vision和Gemini-Pro-Vision。
• 在人类放射科医生的评估中，该模型在自主报告任务中的成功率达到72.7%，而真实报告（ground truth）的成功率为84.0%。
• 在内部和外部测试集上，该模型的性能始终高于GPT-4-vision和Gemini-Pro-Vision。
• 通过LLAVA启发的架构将视觉变换器与大语言模型结合，使模型在胸部X光片解读任务中展现出强大的零样本和少样本泛化能力。
• CXR-LLAVA的开源预计将推动医学影像人工智能领域进一步的研究与临床应用。