[论文解读] Local Large Language Models for Complex Structured Medical Tasks

Cody Bumgardner, Aaron Mullen+3 more|arXiv (Cornell University)|Aug 3, 2023

Topic Modeling被引用 4

一句话总结

本文提出在医学病理报告上微调本地大型语言模型（LLMs），以提取结构化疾病编码，表明即使在精度降低的情况下，基于LLaMA的模型在多标签、复杂结构化任务中仍显著优于BERT类模型。该方法可在普通硬件上实现高精度、隐私保护的本地化部署。

ABSTRACT

This paper introduces an approach that combines the language reasoning capabilities of large language models (LLMs) with the benefits of local training to tackle complex, domain-specific tasks. Specifically, the authors demonstrate their approach by extracting structured condition codes from pathology reports. The proposed approach utilizes local LLMs, which can be fine-tuned to respond to specific generative instructions and provide structured outputs. The authors collected a dataset of over 150k uncurated surgical pathology reports, containing gross descriptions, final diagnoses, and condition codes. They trained different model architectures, including LLaMA, BERT and LongFormer and evaluated their performance. The results show that the LLaMA-based models significantly outperform BERT-style models across all evaluated metrics, even with extremely reduced precision. The LLaMA models performed especially well with large datasets, demonstrating their ability to handle complex, multi-label tasks. Overall, this work presents an effective approach for utilizing LLMs to perform domain-specific tasks using accessible hardware, with potential applications in the medical domain, where complex data extraction and classification are required.

研究动机与目标

• 开发一种本地LLM方法，实现在不依赖第三方API的情况下，针对特定领域、生成结构化输出的复杂医学NLP任务。
• 评估本地LLM（如LLaMA）与BERT类模型在从未经清理的外科病理报告中提取结构化疾病编码方面的性能表现。
• 评估数据集规模、模型架构和参数量对多标签、医学编码任务中分类性能的影响。
• 证明本地LLM可在标准CPU/GPU硬件上实现复杂真实医学数据的高精度提取，避免云模型带来的隐私和合规风险。

提出的方法

• 在包含大体描述、最终诊断和疾病编码的15万份以上未经清理的外科病理报告数据集上，微调LLaMA、BERT、LongFormer和BioClinicalBERT模型。
• 采用指令微调方法，引导模型根据特定生成指令输出结构化结果。
• 在三种数据集规模（极小、小、大）上训练模型，以评估可扩展性及数据复杂性的影响。
• 使用F1分数评估所有模型和数据集规模的性能，重点关注疾病编码的多标签分类表现。
• 通过提示工程和输入上下文结构化，提升模型与医学编码规则及术语的一致性。
• 在标准硬件上部署模型，证明其无需高端GPU即可实现可行性。

实验结果

研究问题

• RQ1 在医学文本上微调的本地LLM是否能在从非结构化病理报告中提取结构化疾病编码方面优于BERT类模型？
• RQ2 数据集规模如何影响本地LLM与小型NLP模型在复杂多标签医学编码任务中的性能表现？
• RQ3 当在特定领域、高复杂度医学数据上微调时，模型架构（如LLaMA与BERT）在性能上的影响程度如何？
• RQ4 本地LLM是否能在不依赖云服务的大型语言模型的情况下，实现高精度的结构化医学数据提取，从而确保数据隐私与合规性？

主要发现

• 基于LLaMA的模型在最大数据集上取得了0.785的F1分数，显著优于所有数据集规模下F1分数均低于0.02的BERT类模型。
• LLaMA 13b模型在大样本数据集上F1达到0.785，而表现最佳的BERT模型（UKPathBERT）仅得0.018，表明存在显著的性能差距。
• BERT和Longformer模型的性能在最小数据集上达到峰值后随数据复杂度增加而下降，而LLaMA模型则随着数据集增大而持续提升，展现出更优的可扩展性。
• 未发现输入描述长度与预测准确率之间存在显著相关性，表明模型复杂度和推理能力的影响超过输入长度的影响。
• 更频繁出现的疾病编码被更准确地预测，但LLaMA模型即使在罕见编码上也保持了强劲表现，而BERT模型在低频标签上表现困难。
• LLaMA 7b模型在标准CPU/GPU硬件上实现了高性能（大样本数据集上F1=0.783），证明其可在无专用基础设施的本地环境中实现可行部署。