[论文解读] CancerLLM: A Large Language Model in Cancer Domain

Mingchen Li, Huang, Jiatan+6 more|arXiv (Cornell University)|Jun 15, 2024

Biomedical Text Mining and Ontologies被引用 11

一句话总结

CancerLLM 是一个 7B 癌症领域的 LLM，基于大规模临床与病理数据训练，并进行表型提取、诊断生成与治疗计划生成的微调，在针对性测试集上实现最先进的结果与稳健表现。

ABSTRACT

Medical Large Language Models (LLMs) have demonstrated impressive performance on a wide variety of medical NLP tasks; however, there still lacks a LLM specifically designed for phenotyping identification and diagnosis in cancer domain. Moreover, these LLMs typically have several billions of parameters, making them computationally expensive for healthcare systems. Thus, in this study, we propose CancerLLM, a model with 7 billion parameters and a Mistral-style architecture, pre-trained on nearly 2.7M clinical notes and over 515K pathology reports covering 17 cancer types, followed by fine-tuning on two cancer-relevant tasks, including cancer phenotypes extraction and cancer diagnosis generation. Our evaluation demonstrated that the CancerLLM achieves state-of-the-art results with F1 score of 91.78% on phenotyping extraction and 86.81% on disganois generation. It outperformed existing LLMs, with an average F1 score improvement of 9.23%. Additionally, the CancerLLM demonstrated its efficiency on time and GPU usage, and robustness comparing with other LLMs. We demonstrated that CancerLLM can potentially provide an effective and robust solution to advance clinical research and practice in cancer domain

研究动机与目标

• 推动创建一个针对癌症的专用 LLM，以提升肿瘤学的临床自然语言处理任务。
• 开发一个 7B 规模、采用 Mistral 风格架构、针对癌症数据定制的模型。
• 创建并使用三个微调数据集，用于表型提取、诊断生成和治疗计划生成。
• 在多样化基线下评估生成质量，并在对抗性和拼写错误的鲁棒性测试中进行评估。

提出的方法

• 在 2,676,642 条癌症临床笔记和 515,524 份病理报告（包含 17 种癌种）的数据上进行 7B Mistral 风格 LLM 的预训练。
• 应用基于 LoRA 的继续预训练，以注入癌症知识，超参为：rank 8，alpha 16，dropout 0.05，LR 2e-4。
• 对三个以癌症为焦点的任务进行指令微调，使用 LoRA，rank 64，alpha 16。
• 为表型提取、诊断生成和治疗计划生成构建三个下游数据集，训练集与测试集非重叠。
• 使用 Exact Match、BLEU-2、ROUGE-L 指标进行评估；包含鲁棒性测试平台（对抗性与错拼）。
• 与涵盖 7B、8B、13B、70B 模型的 14 个基线进行对比；报告生成质量与效率（时间与 GPU 内存）。

Figure 1: The evolution of medical LLM performance on three tasks—cancer phenotype extraction, diagnosis generation, and treatment plan generation—is measured using the average F1 score, which includes Exact Match, BLEU-2, and ROUGE-L. Our CancerLLM achieves the highest performance with an F1 score

实验结果

研究问题

• RQ1 一个 7B 癌症领域的 LLM 能否在癌症表型提取、诊断生成和治疗计划生成等任务上达到最先进的生成质量？
• RQ2 通过继续预训练和指令微调注入的领域特定癌症知识，是否比更大规模的通用医学 LLM 表现更好？
• RQ3 CancerLLM 对临床文本中的对抗性标签和错拼有多鲁棒？
• RQ4 在临床环境中部署紧凑型癌症领域 LLM 时，生成时间和内存之间存在哪些权衡？

主要发现

• 在三个任务中，CancerLLM 在所有评估模型中表现最佳，对诊断生成的基线平均 F1 提升为 8.1%。
• 在癌症诊断生成中，CancerLLM 的平均 F1 为 86.81，EM 为 83.50，超越所有 7B、13B 和 70B 的基线。
• 在癌症治疗计划生成中，CancerLLM 的平均 F1 为 91.78，EM 为 89.37，再次在测试模型中处于领先地位。
• 在癌症表型提取中，CancerLLM 的平均 F1 为 93.98，EM 为 89.37，接近或超越更大模型，同时使用的参数要少得多。
• 鲁棒性测试平台显示 CancerLLM 在对抗性扰动和错拼下保持竞争性表现，随着扰动率增加有一定下降，但在更高噪声条件下（如对抗率达到 80%）往往仍优于强基线。
• CancerLLM 展示出卓越的效率，表型提取推理时间为 1:14:12，GPU 内存使用 5,550 MB，显著低于若干 70B 对手模型。

Figure 2: Overview of CancerLLM