[论文解读] Assessing the Ability of ChatGPT to Screen Articles for Systematic Reviews
本文评估 ChatGPT 在系统综述筛选文章中的一致性、分类性能和泛化能力，并将其与传统分类器进行比较，并讨论集成方面的考虑。
By organizing knowledge within a research field, Systematic Reviews (SR) provide valuable leads to steer research. Evidence suggests that SRs have become first-class artifacts in software engineering. However, the tedious manual effort associated with the screening phase of SRs renders these studies a costly and error-prone endeavor. While screening has traditionally been considered not amenable to automation, the advent of generative AI-driven chatbots, backed with large language models is set to disrupt the field. In this report, we propose an approach to leverage these novel technological developments for automating the screening of SRs. We assess the consistency, classification performance, and generalizability of ChatGPT in screening articles for SRs and compare these figures with those of traditional classifiers used in SR automation. Our results indicate that ChatGPT is a viable option to automate the SR processes, but requires careful considerations from developers when integrating ChatGPT into their SR tools.
研究动机与目标
- 推动在软件工程领域的系统综述中自动化筛选阶段的需求.
- 评估 ChatGPT 在筛选任务中的一致性、性能和泛化能力.
- 将 ChatGPT 与用于 SR 自动化的传统机器学习基线进行比较.
- 基于实证发现，为将 ChatGPT 集成到 SR 工具中提供指导。
提出的方法
- 以 ReLiS 系 Grounded SR 语料库作为筛选决策的真值（ground truth）。
- 以在文章标题/摘要上训练的 Word2Vec 特征的传统分类器（LR、RF、CNB、SVC）建立基线。
- 为 ChatGPT 设计提示词并将其筛选决策与真实值进行对比评估。
- 用不平衡数据性能指标（如 MCC、F2、平衡准确度）比较 ChatGPT 与基线的结果。
- 通过多次运行使用 Fleiss’ Kappa 评估一致性，以衡量 ChatGPT 决策的稳定性。
实验结果
研究问题
- RQ1RQ1: ChatGPT 对特定文章在不同运行中的筛选决策的一致性如何？
- RQ2RQ2: ChatGPT 的分类性能与传统 SR 自动化分类器相比如何？
- RQ3RQ3: ChatGPT 的筛选决策在不同的软件工程 SR 数据集上的泛化能力如何？
主要发现
- ChatGPT 在 SR 筛选方面可以在不额外训练的情况下达到传统机器学习方法的性能。
- 像 ChatGPT 这样的大型语言模型有望革新 SR 自动化，但需要为工具开发者仔细考虑集成问题。
- 使用具有不同纳入/排除比、冲突情况的多样化 SR 数据集来测试泛化性，强调鲁棒提示词设计的必要性。
- 本研究使用 ReLiS 项目的真值数据，确保对纳入/排除决策的可靠评估。
- 提示词和超参数（温度、令牌上限）对实现一致、最小化响应的结果（Include/Exclude）至关重要。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。