[论文解读] Automated title and abstract screening for scoping reviews using the GPT-4 Large Language Model

David E. Wilkins|arXiv (Cornell University)|Nov 14, 2023

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文介绍了 GPTscreenR，这是一个使用 GPT-4 与思维链提示技术的 R 包，可自动化范围综述中的标题和摘要筛选。其敏感度为 71%，特异度为 89%，准确率为 84%，与零样本方法性能相当，但错误控制更优，提供了一款用户友好的工具，可减轻系统性文献筛选中的人工工作负担。

ABSTRACT

Scoping reviews, a type of literature review, require intensive human effort to screen large numbers of scholarly sources for their relevance to the review objectives. This manuscript introduces GPTscreenR, a package for the R statistical programming language that uses the GPT-4 Large Language Model (LLM) to automatically screen sources. The package makes use of the chain-of-thought technique with the goal of maximising performance on complex screening tasks. In validation against consensus human reviewer decisions, GPTscreenR performed similarly to an alternative zero-shot technique, with a sensitivity of 71%, specificity of 89%, and overall accuracy of 84%. Neither method achieved perfect accuracy nor human levels of intraobserver agreement. GPTscreenR demonstrates the potential for LLMs to support scholarly work and provides a user-friendly software framework that can be integrated into existing review processes.

研究动机与目标

• 减少在范围综述中筛选大量文献源所需的繁重人工工作量。
• 开发一款用户友好、开源的 R 包，将 GPT-4 整合到现有综述工作流程中。
• 评估使用 GPT-4 的思维链提示在标题和摘要筛选中相对于零样本提示的性能表现。
• 评估基于大语言模型的筛选相对于人类评审者共识的可靠性与透明性。
• 提供一种将大语言模型整合到学术综述流程中的框架，同时通过推理轨迹保持可审计性。

提出的方法

• GPTscreenR 包实现了思维链提示策略，将筛选决策分解为中间推理步骤。
• 每个文献源通过提示进行处理，指导 GPT-4 逐步根据纳入与排除标准评估相关性。
• 模型在输出最终的纳入或排除决定前，先生成推理过程记录。
• 通过将 GPT-4 的决策与多个范围综述中人类评审者共识判断进行对比，评估性能。
• 该方法使用 OpenAI API 与 GPT-4，按 token 计费，并作为 MIT 许可下的开源 R 包实现。
• 该方法通过允许评审者检查每个大语言模型决策背后的推理链，提升了透明度。

Figure 1: Template for the conversation with GPT-4 mediated by the screen_source() function. Messages with variable content, including user-provided data as well as GPT-4’s responses, are given in italics.

实验结果

研究问题

• RQ1 与零样本提示相比，使用 GPT-4 的思维链提示是否能提升范围综述中自动化筛选的可靠性与透明性？
• RQ2 GPTscreenR 的性能在敏感度、特异度和总体准确率方面与人类评审者共识相比如何？
• RQ3 与零样本方法相比，思维链方法在多大程度上减少了 I 类错误（假阳性）？
• RQ4 使用 GPT-4 进行筛选的实际限制有哪些，包括成本、时间以及对数据质量的依赖？
• RQ5 GPT-4 生成的推理轨迹在多大程度上可支持人类评审者解决分歧或提高决策一致性？

主要发现

• 与人类共识判断相比，GPTscreenR 实现了 71% 的敏感度、89% 的特异度和 84% 的总体准确率。
• 思维链方法的特异度（89%）高于零样本方法（84%），但敏感度（71% 对 78%）较低，表明该方法在减少假阳性方面存在权衡优势。
• 性能受限于验证综述中的数据质量问题，包括缺失或格式错误的摘要以及不一致的筛选记录。
• 思维链方法使评审者能够检查每个大语言模型决策背后的推理过程，增强了透明度与可审计性。
• 尽管性能与零样本方法相当，GPTscreenR 尚未达到人类评审者之间的一致水平，表明仍有改进空间。
• 由于推理序列更长，该方法的 token 使用量和成本高于零样本提示，影响其在大规模筛选任务中的可扩展性。

Figure 2a: A conversation with GPT-4, using a zero-shot prompt to instruct the model to screen a single source for a hypothetical scoping review. This adversarial task has been intentionally designed to influence GPT-4 towards making an error.