[论文解读] Efficient Fine-Tuning of Large Language Models for Automated Medical Documentation

Hui Yi Leong, Yi Gao+2 more|arXiv (Cornell University)|Jan 1, 2024

Topic Modeling被引用 2

一句话总结

该论文提出MediGen，一个经过微调的LLaMA3-8B模型，通过量化低秩适应（QLoRA）和指令微调，实现了从医生-患者对话中自动化生成临床记录。其ROUGE得分为58%，BERTScore-F1为72%，表明在生成结构化SOAP记录方面具有高准确性和临床相关性，显著减轻了医生的文档负担。

ABSTRACT

Scientific research indicates that for every hour spent in direct patient care, physicians spend nearly two additional hours on administrative tasks, particularly on electronic health records (EHRs) and desk work. This excessive administrative burden not only reduces the time available for patient care but also contributes to physician burnout and inefficiencies in healthcare delivery. To address these challenges, this study introduces MediGen, a fine-tuned large language model (LLM) designed to automate the generation of medical reports from medical dialogues. By leveraging state-of-the-art methodologies for fine-tuning open-source pretrained models, including LLaMA3-8B, MediGen achieves high accuracy in transcribing and summarizing clinical interactions. The fine-tuned LLaMA3-8B model demonstrated promising results, achieving a ROUGE score of 58% and a BERTScore-F1 of 72%, indicating its effectiveness in generating accurate and clinically relevant medical reports. These findings suggest that MediGen has the potential to significantly reduce the administrative workload on physicians, improving both healthcare efficiency and physician well-being.

研究动机与目标

• 解决医生面临的日益增长的行政负担，他们每花费一小时直接患者诊疗时间，需将近两小时用于电子健康记录（EHR）工作。
• 通过自动化从临床对话生成结构化医疗报告，减轻医生倦怠，提升临床效率。
• 开发一种轻量化、高效的大型语言模型（LLM）微调方法，在保持高准确率的同时最小化计算成本。
• 通过指令微调和参数高效微调，提升自动化医疗记录生成的准确性和临床相关性。
• 通过稳健且符合隐私保护的设计，实现在多种临床环境（包括远程医疗和门诊诊所）中的实际部署。

提出的方法

• 使用ACI-BENCH数据集对开源LLaMA3-8B模型进行微调，该数据集为公开可用的医疗对话语料库，包含207次医生-患者互动。
• 应用量化低秩适应（QLoRA）技术，实现在低资源条件下高效微调大型语言模型，同时保持模型性能。
• 采用参数高效微调（PEFT）技术，最小化参数更新，降低计算开销。
• 使用指令微调使模型输出与临床文档标准对齐，特别是生成结构化的SOAP记录（主观、客观、评估、计划）。
• 通过转录和规范化预处理原始对话，确保与模型输入格式兼容，并提升语义一致性。
• 使用ROUGE和BERTScore指标评估模型性能，以衡量生成报告的内容准确性和语义相关性。

实验结果

研究问题

• RQ1 经过微调的大规模语言模型能否以极低的计算成本，从原始医生-患者对话中生成医学上准确且结构一致的SOAP记录？
• RQ2 指令微调在多大程度上提升了自动化医疗报告生成的完整性与临床相关性？
• RQ3 QLoRA在有限的医疗对话数据集上，能在多大程度上实现对大型语言模型的有效微调，且无需大量资源投入？
• RQ4 该模型在不同临床场景下的表现如何，特别是在远程医疗和门诊环境中？
• RQ5 在部署AI生成的医疗文档时，面临哪些关键的伦理与隐私挑战，以及如何加以缓解？

主要发现

• 经过微调的LLaMA3-8B模型MediGen实现了58%的ROUGE得分，表明其与参考医疗记录之间具有较强的文本重叠度。
• MediGen获得了72%的BERTScore-F1，表明其生成报告在语义相似性和临床相关性方面表现优异。
• 指令微调显著提升了生成SOAP记录的完整性和准确性，该结论通过消融研究得到验证。
• QLoRA的使用实现了高效的微调，显著降低了内存和计算需求，使模型适用于资源受限的环境。
• 当与视频会议平台集成时，该模型在虚拟记录员和远程医疗等各类临床场景中均展现出强大的泛化能力。
• 识别出伦理挑战，包括数据隐私和模型偏见，特别是训练数据中代表性不足的问题以及对HIPAA合规性的关注。