[论文解读] MGH Radiology Llama: A Llama 3 70B Model for Radiology

Yuan Shi, Peng Shu+6 more|arXiv (Cornell University)|Aug 13, 2024

Radiology practices and education被引用 4

一句话总结

本论文介绍了 MGH Radiology Llama，这是一个基于 Llama 3 的 700亿参数模型，使用来自马萨诸塞州总医院的 650万份去标识化放射科报告进行微调。该模型在生成准确、具有临床相关性的放射科印象方面达到最先进水平，优于通用大语言模型和先前的领域专用模型，在 ROUGE-L 上实现 100% 的提升，并在 GPT-4o 评估中获得超过 1 分的增益。

ABSTRACT

In recent years, the field of radiology has increasingly harnessed the power of artificial intelligence (AI) to enhance diagnostic accuracy, streamline workflows, and improve patient care. Large language models (LLMs) have emerged as particularly promising tools, offering significant potential in assisting radiologists with report generation, clinical decision support, and patient communication. This paper presents an advanced radiology-focused large language model: MGH Radiology Llama. It is developed using the Llama 3 70B model, building upon previous domain-specific models like Radiology-GPT and Radiology-Llama2. Leveraging a unique and comprehensive dataset from Massachusetts General Hospital, comprising over 6.5 million de-identified medical reports across various imaging modalities, the model demonstrates significant improvements in generating accurate and clinically relevant radiology impressions given the corresponding findings. Our evaluation, incorporating both traditional metrics and a GPT-4-based assessment, highlights the enhanced performance of this work over general-purpose LLMs.

研究动机与目标

• 开发一个高性能、面向特定领域的大型语言模型，专用于放射科报告生成，基于大规模真实世界数据集。
• 解决通用大语言模型在放射科应用中的局限性，包括临床精确度不足、使用 API 带来的隐私问题，以及医学术语使用不一致的问题。
• 通过传统指标和基于 GPT-4o 的评估方法，全面评估模型性能，以确保其临床相关性和准确性。
• 探索高效的微调策略（如 QLoRA），在性能与计算效率之间实现平衡，适用于大模型。
• 通过本地部署和使用去标识化数据，严格保障患者隐私。

提出的方法

• 在来自 MGH 的 650万份去标识化放射科报告的综合数据集上，对 Llama 3 700亿参数基础模型进行微调，涵盖多种影像学检查方式和解剖区域。
• 采用两种微调策略：全参数微调和参数高效微调（QLoRA），以比较性能和训练效率。
• 通过领域特定的分词方法和数据清洗对数据集进行预处理，以确保一致性和临床相关性。
• 使用标准指标（ROUGE-L、BERTScore）和基于 GPT-4o 的评估方法，结合临床医生制定的评估标准，评估输出的准确性和语义一致性。
• 采用基于提示的评估框架，评估模型生成的结论与放射科医生验证结果的一致性。
• 优先保障模型隐私与合规性，通过在本地使用去标识化数据进行训练，避免调用外部 API。

实验结果

研究问题

• RQ1 在多样化、真实世界的放射科数据集上，对大规模领域专用大语言模型进行微调，是否能显著提升放射科印象生成的准确性和临床相关性，相比通用大语言模型？
• RQ2 全参数微调的 Llama 3 700亿参数模型与 QLoRA 微调变体在生成放射科报告方面的性能表现如何比较，特别是在输出质量与训练效率方面？
• RQ3 像 Llama 3 700亿这样的大基础模型，在多大程度上能通过参数高效微调（QLoRA）实现接近全参数微调的性能，同时显著降低计算成本？
• RQ4 生成的放射科印象中的主要失败模式是什么？它们与遗漏发现或虚构结论之间有何关联？
• RQ5 模型在不同影像学检查方式和解剖区域上的表现如何变化？这反映了其怎样的泛化能力？

主要发现

• 全参数微调的 Llama 3 700亿参数模型相比基线通用大语言模型，ROUGE-L 得分提升了 100%，表明其在词级和结构层面与真实放射科印象的对齐程度显著更高。
• 与基线相比，该模型在 BERTScore 精度上提升了 4%–5%，表明其语义相似性与医学术语准确性得到增强。
• 基于 GPT-4o 的评估显示，微调模型的平均得分提高了 1.0 分以上，表明其在临床推理和术语使用方面与放射科医生验证结论的对齐程度更高。
• QLoRA 微调在性能上几乎与全参数微调相当，同时显著减少了训练时间和资源消耗，凸显其在大模型中的高效性。
• 尽管性能优异，该模型在复杂病例中仍存在幻觉和遗漏关键发现的问题，GPT-4o 得分较低主要源于遗漏或无关推断。
• 该模型在多种影像学检查方式（CT、MRI、X光、 Fluoroscopy）和解剖区域（腹部、胸部、心脏、四肢）上均表现出稳健性能，表明其具备广泛的泛化能力。