[论文解读] Fine-Tuning A Large Language Model for Systematic Review Screening

Kweku Yamoah, Noah L. Schroeder+3 more|arXiv (Cornell University)|Mar 25, 2026

Meta-analysis and systematic reviews被引用 0

一句话总结

作者对一个小型 1.2B 参数的 LLM 进行了标题/摘要筛选的微调，在单一系统综述中取得强于基线的显著提升，对完整数据集的人类决策具有高一致性，且跨推理运行结果一致。

ABSTRACT

Systematic reviews traditionally have taken considerable amounts of human time and energy to complete, in part due to the extensive number of titles and abstracts that must be reviewed for potential inclusion. Recently, researchers have begun to explore how to use large language models (LLMs) to make this process more efficient. However, research to date has shown inconsistent results. We posit this is because prompting alone may not provide sufficient context for the model(s) to perform well. In this study, we fine-tune a small 1.2 billion parameter open-weight LLM specifically for study screening in the context of a systematic review in which humans rated more than 8500 titles and abstracts for potential inclusion. Our results showed strong performance improvements from the fine-tuned model, with the weighted F1 score improving 80.79% compared to the base model. When run on the full dataset of 8,277 studies, the fine-tuned model had 86.40% agreement with the human coder, a 91.18% true positive rate, a 86.38% true negative rate, and perfect agreement across multiple inference runs. Taken together, our results show that there is promise for fine-tuning LLMs for title and abstract screening in large-scale systematic reviews.

研究动机与目标

• 通过在人类标注数据上对模型进行微调，降低系统综述的筛选工作量。
• 评估一个小型 LLM 是否能够在特定综述上实现强大且稳定的筛选性能。
• 展示评估策略，包括保留测试和全数据集测试。
• 提供一个可重复的管道，公开可用的模型、数据集和代码。

提出的方法

• 使用全参数监督微调对 Liquid AI 的 LFM2.5-1.2B-Instruct（bf16）在指令-响应对上进行微调。
• 使用 Unsloth 与 Hugging Face TRL 训练栈在单个 GPU 上实现高效微调。
• 以 320 步训练，学习率 2e-5，批量大小约束与短期热身；最大序列长度 4096。
• 将数据格式化为指令–响应对，并对响应进行掩蔽（损失仅在助手标记上计算）。
• 将经过筛选的 371 条摘要数据集划分为训练集（315）和测试集（56），并通过加强包含样本来解决类别不平衡。
• 使用多指标、考虑不平衡的评估度量（平衡准确率、加权及按类别的 F1/F2、混淆矩阵）以及评审者之间的一致性度量（Cohen’s kappa、PABAK、Gwet’s AC1、Fleiss’ kappa）。
• 在温度 0.1、0.4、0.8 进行多轮推理以评估一致性；从基于聊天的输出中解析预测。

实验结果

研究问题

• RQ1 模型在标题/摘要筛选上的基线表现与人类评分相比如何？
• RQ2 对一个小型微调模型在验证数据集上的表现是否接近人类评分？
• RQ3 在全数据集上，微调模型相对于人工评分的表现如何？
• RQ4 模型的筛选性能在多种推理温度下是否具备鲁棒性？

主要发现

• 基线（基础模型，全数据集）平衡准确率 53.07%，总体准确率 6.52%。
• 在保留的测试切分上微调的模型达到 94.64% 的准确率和 94.49% 的平衡准确率。
• 在全数据集上微调的模型达到 86.40% 的准确率和 88.78% 的平衡准确率。
• 在全数据集上，包含类别召回率 91.18% 但精度 2.69%（F1 5.22%），排除类别精度 86.38% 和召回率 92.67%（F1 92.67%）。
• 模型-人类在全数据集上的一致性为 86.40%，Gwet AC1 = 0.843；Cohen’s kappa 为 0.045，PABAK = 0.728。
• 在温度 0.1、0.4、0.8 的三次推理中，LLM-仅结果呈现完美的一致性（Cohen’s kappa = 1.0，跨轮次），多评者 AC1 = 0.842（95% 置信区间）。