[论文解读] Bio-SIEVE: Exploring Instruction Tuning Large Language Models for Systematic Review Automation

Ambrose Robinson, William Thorne+5 more|arXiv (Cornell University)|Aug 12, 2023

Meta-analysis and systematic reviews被引用 7

一句话总结

Bio-SIEVE 通过使用指令微调的大语言模型，实现了生物医学系统综述中自动化文献筛选，其在使用详细选择标准准确分类研究相关性方面，优于 ChatGPT 和传统模型。它在不同医学领域间展现出卓越的泛化能力，并支持排除理由生成，提供了一种无需微调的灵活零样本解决方案，实现了系统综述自动化的应用。

ABSTRACT

Medical systematic reviews can be very costly and resource intensive. We explore how Large Language Models (LLMs) can support and be trained to perform literature screening when provided with a detailed set of selection criteria. Specifically, we instruction tune LLaMA and Guanaco models to perform abstract screening for medical systematic reviews. Our best model, Bio-SIEVE, outperforms both ChatGPT and trained traditional approaches, and generalises better across medical domains. However, there remains the challenge of adapting the model to safety-first scenarios. We also explore the impact of multi-task training with Bio-SIEVE-Multi, including tasks such as PICO extraction and exclusion reasoning, but find that it is unable to match single-task Bio-SIEVE's performance. We see Bio-SIEVE as an important step towards specialising LLMs for the biomedical systematic review process and explore its future developmental opportunities. We release our models, code and a list of DOIs to reconstruct our dataset for reproducibility.

研究动机与目标

• 为解决生物医学系统综述中人工文献筛选带来的高成本和时间负担。
• 开发一种无需微调、可跨多样化医学领域泛化的零样本指令微调大语言模型。
• 通过复杂的多标准选择规则，实现对纳入/排除的准确分类。
• 探索排除理由生成作为一项新任务，以提升筛选决策的透明度并减轻评审人员工作负担。
• 评估联合学习任务（PICO 提取与排除理由生成）在知识迁移方面的优势。

提出的方法

• 基于从 Cochrane 综述中提取的精选数据集，对 LLaMA 和 Guanaco 模型进行指令微调。
• 构建了一个基于特定综述标准（包括排除理由）标注的摘要数据集，用于纳入/排除分类。
• 采用详细、自然语言的提示进行指令微调，以指导模型在筛选和解释任务中的行为。
• 探索联合训练策略，结合 PICO 提取与排除理由生成任务，以实现跨任务知识迁移。
• 采用 LoRA（低秩适应）技术，高效微调大模型以完成特定领域的筛选任务。
• 使用标准 NLP 指标（包括 F1、精确率、召回率及人工偏好排名）评估模型性能。

Figure 1: A simple representation of the systematic review process depicting the stage which Bio-SIEVE aims to assist. The black funnels are the monotonous and highly resource intensive bottlenecks of the process.

实验结果

研究问题

• RQ1 指令微调的大语言模型是否能在系统综述摘要筛选任务中优于零样本模型（如 ChatGPT）？
• RQ2 在特定领域标准上进行指令微调，是否能提升模型在多样化生物医学主题间的泛化能力？
• RQ3 能否将排除理由生成有效建模为生成任务，以支持筛选决策的透明性？
• RQ4 联合训练 PICO 提取与排除理由生成任务，是否能提升整体筛选性能？
• RQ5 与传统机器学习模型相比，Bio-SIEVE 在敏感性和特异性方面表现如何？

主要发现

• Bio-SIEVE 在纳入/排除分类任务中优于 ChatGPT 和传统模型（如 SVM），F1 和召回率均更高。
• 该模型在未进行微调的情况下，有效泛化于不同医学领域，展现出强大的零样本泛化能力。
• 排除理由生成任务成功实现，能够生成有效且与上下文相关的拒稿理由。
• 联合训练（Bio-SIEVE-Multi）在筛选任务上仅表现出有限的迁移优势，且性能低于单任务 Bio-SIEVE。
• Bio-SIEVE-Multi 在纳入理由生成方面表现有前景，但在人工偏好排名中未能达到 ChatGPT 的水平。
• 该模型在过滤细微无关性内容方面表现优异，例如能准确排除与口腔健康综述无关的肌肉创伤研究。

Figure 2: The topic distribution of the inclusion/exclusion classification samples in the train and test splits of the Instruct Cochrane dataset.