[论文解读] How to Read Less: Better Machine Assisted Reading Methods for Systematic Literature Reviews.
该论文提出FASTREAD，一种新颖的主动学习方法，通过借鉴循证医学和法律电子发现中的重构技术，优先对文献进行人工审查，从而加速系统性文献综述。该方法将研究人员需阅读的文献数量减少一个数量级——在仅比最先进方法少阅读20–50%的研究后，即可实现95%的召回率，同时保持相同的相关研究召回率。
Literature reviews can be time-consuming and tedious to complete. By cataloging and refactoring three state-of-the-art active learning techniques from evidence-based medicine and legal electronic discovery, this paper finds and implements FASTREAD, a faster technique for studying a large corpus of documents. This paper assesses FASTREAD using datasets generated from existing SE literature reviews (Hall, Wahono, Radjenovic, Kitchenham et al.). Compared to manual methods, FASTREAD lets researchers find 95% relevant studies after reviewing an order of magnitude fewer papers. Compared to other state-of-the-art automatic methods, FASTREAD reviews 20-50% fewer studies while finding same number of relevant primary studies in a systematic literature review.
研究动机与目标
- 解决软件工程领域系统性文献综述耗时且繁琐的问题。
- 在保持相关研究高召回率的同时，减少研究人员需手动审查的文档数量。
- 将循证医学和法律电子发现中的主动学习技术进行适应与重构，以适用于系统性文献综述。
- 在真实世界软件工程文献综述数据集上评估所提方法的性能。
- 证明FASTREAD在效率上优于人工审查和最先进自动审查方法。
提出的方法
- FASTREAD整合并重构了来自循证医学和法律电子发现领域的三种最先进主动学习技术。
- 利用不确定性采样和查询策略，优先选择最可能提升模型性能的文档。
- 该方法根据模型置信度和预期信息增益，动态选择需人工审查的文档。
- 采用混合排序策略，结合模型不确定性与相关性预测，以减少重复审查。
- 在每次人工标注轮次后，系统迭代重新训练模型，随时间推移逐步提升选择准确性。
- 该方法在源自现有软件工程文献综述（Hall, Wahono, Radjenovic, Kitchenham et al.）的真实数据集上进行了评估。
实验结果
研究问题
- RQ1FASTREAD能否在保持系统性文献综述高召回率的同时，减少研究人员需手动审查的文档数量？
- RQ2与人工审查相比，FASTREAD在效率和召回率方面表现如何？
- RQ3FASTREAD是否在相同召回率下，优于现有最先进自动方法，从而减少审查的文献数量？
- RQ4将医学和法律领域的主动学习技术整合应用于软件工程文献综述的背景下，其有效性如何？
- RQ5文档优先排序策略对文献综述完成速度和准确性的影响力如何？
主要发现
- 与人工方法相比，FASTREAD将研究人员需审查的文献数量减少了整整一个数量级，在仅审查更少文档的情况下实现了95%的召回率。
- 与其它最先进自动方法相比，FASTREAD在实现相同数量相关原始研究的前提下，减少了20–50%的文献审查量。
- 即使在审查文档数量大幅减少的情况下，该方法仍能保持高召回率，展现出显著的效率提升。
- 将循证医学和法律电子发现中的主动学习技术整合应用于软件工程文献综述，证明是有效的。
- 该方法使研究人员能以显著更少的人工工作量达到高召回率，使系统性文献综述更具可扩展性和可行性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。