[论文解读] Automated Paper Screening for Clinical Reviews Using Large Language Models

Eddie Guo, Mehul Gupta+4 more|arXiv (Cornell University)|May 1, 2023

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本研究提出了一种新颖的工作流程，利用 OpenAI GPT API 自动化临床系统综述中的标题和摘要筛选。通过应用自然语言提示来分类相关性，该模型在排除无关文献方面实现了 91% 的准确率和 91% 的特异性，显示出显著降低人工工作量的潜力，同时保持高度一致性，尽管在纳入相关文献方面的敏感度仍处于中等水平，为 76%。

ABSTRACT

Objective: To assess the performance of the OpenAI GPT API in accurately and efficiently identifying relevant titles and abstracts from real-world clinical review datasets and compare its performance against ground truth labelling by two independent human reviewers. Methods: We introduce a novel workflow using the OpenAI GPT API for screening titles and abstracts in clinical reviews. A Python script was created to make calls to the GPT API with the screening criteria in natural language and a corpus of title and abstract datasets that have been filtered by a minimum of two human reviewers. We compared the performance of our model against human-reviewed papers across six review papers, screening over 24,000 titles and abstracts. Results: Our results show an accuracy of 0.91, a sensitivity of excluded papers of 0.91, and a sensitivity of included papers of 0.76. On a randomly selected subset of papers, the GPT API demonstrated the ability to provide reasoning for its decisions and corrected its initial decision upon being asked to explain its reasoning for a subset of incorrect classifications. Conclusion: The GPT API has the potential to streamline the clinical review process, save valuable time and effort for researchers, and contribute to the overall quality of clinical reviews. By prioritizing the workflow and acting as an aid rather than a replacement for researchers and reviewers, the GPT API can enhance efficiency and lead to more accurate and reliable conclusions in medical research.

研究动机与目标

• 评估 OpenAI GPT API 在识别临床系统综述中相关标题和摘要方面的表现。
• 将 GPT API 的筛选准确率与两名独立人类评审员提供的真实标签进行比较。
• 评估模型提供其决策推理能力以及通过反思纠正错误的能力。
• 探索利用大型语言模型作为第一轮筛选工具以优化系统综述流程的可行性。
• 确定 GPT API 是否能在保持临床综述全面性和质量的前提下减少人工工作量。

提出的方法

• 开发了自定义 Python 脚本，通过描述纳入和排除标准的自然语言提示与 OpenAI GPT API 进行交互。
• 该模型处理了来自六个真实临床综述数据集的 24,000 多个标题和摘要，所有文献均经过至少两名人类评审员的预筛选。
• 筛选决策与两名独立人类评审员创建的真实数据集进行对比，以衡量准确率、敏感度和特异性。
• 要求 GPT API 对部分错误分类提供推理说明，并评估其纠正决策的能力。
• 性能指标包括准确率、纳入文献的敏感度以及排除文献的特异性，均在所有筛选决策中计算得出。
• 工作流程设计为人类评审员的决策辅助工具，而非替代品，优先考虑效率与一致性。

实验结果

研究问题

• RQ1 仅通过自然语言提示，GPT API 是否能准确分类临床系统综述中的相关与无关标题和摘要？
• RQ2 在准确率、敏感度和特异性方面，GPT API 的表现与人类评审员相比如何？
• RQ3 GPT API 是否能提供可解释的筛选决策推理？该推理是否能使其纠正初始误分类？
• RQ4 在不损害纳入相关研究的前提下，GPT API 能在多大程度上减轻人工筛选负担？
• RQ5 在纳入敏感度方面，GPT API 识别相关文献存在哪些局限性？

主要发现

• GPT API 在将标题和摘要分类为相关或无关方面实现了总体 0.91 的准确率。
• 该模型在正确排除无关文献方面表现出 0.91 的特异性，表明其在过滤非相关研究方面表现强劲。
• 在纳入相关文献方面的敏感度为 0.76，表明存在中等程度遗漏重要研究的风险。
• 在一组被错误分类的文献中，当被要求解释其推理过程时，GPT API 能够纠正其初始判断，表明其具备反思能力。
• 模型提供的推理说明揭示了其决策过程，有助于提升筛选工作流程的透明度与可审计性。
• GPT API 可显著减少人工筛选工作量，同时保持高度一致性，使其成为系统综述中极具价值的第一轮筛选工具。