[论文解读] ASReview: Open Source Software for Efficient and Transparent Active Learning for Systematic Reviews.

Rens van de Schoot, Jonathan De Bruin+14 more|arXiv (Cornell University)|Jun 22, 2020

Scientific Computing and Data Management参考文献 47被引用 16

一句话总结

ASReview 是一个开源的主动学习系统，通过在保持高准确率的同时减少人工筛选工作量，从而加速系统性文献综述。它采用人机协同的机器学习方法，优先筛选出相关研究，与手动筛选相比显著缩短了综述时间，且不牺牲质量。

ABSTRACT

For many tasks -- including guideline development for medical doctors and systematic reviews for research fields -- the scientific literature needs to be checked systematically. The current practice is that scholars and practitioners screen thousands of studies by hand to find which studies to include in their review. This is error prone and inefficient. We therefore developed an open source machine learning (ML)-aided pipeline: Active learning for Systematic Reviews (ASReview). We show that by using active learning, ASReview can lead to far more efficient reviewing than manual reviewing, while exhibiting adequate quality. Furthermore, the presented software is fully transparent and open source.

研究动机与目标

• 解决系统性综录中人工筛选效率低下和错误率高的问题。
• 开发一个透明的开源工具，将主动学习整合到系统性综述工作流程中。
• 通过机器学习优先筛选潜在相关研究，减少审稿人需筛选的研究数量。
• 通过人机协同学习实现高质量结果，确保完全透明。
• 使系统性综述流程更具可扩展性，减少研究人员和实践者的耗时。

提出的方法

• ASReview 实现主动学习，其中机器学习模型迭代选择最具信息量的研究供人工审阅。
• 该系统采用人机协同方法，审稿人对研究进行标注，模型根据反馈更新其预测。
• 它采用查询策略，选择能最大化信息增益的研究，从而减少无关研究的筛选数量。
• 该软件基于开源原则构建，确保综述过程的完全透明和可复现性。
• 它支持多种文本表示和分类模型，重点关注文献筛选中的相关性预测。
• 该工作流可无缝集成到系统性综述流程中，替代或增强人工筛选。

实验结果

研究问题

• RQ1 主动学习能否减少系统性综述中需人工筛选的研究数量？
• RQ2 ASReview 在准确率和效率方面与人工筛选相比表现如何？
• RQ3 ASReview 在综述过程中在多大程度上保持了透明度和可复现性？
• RQ4 ASReview 能否扩展到包含数千项研究的大规模系统性综述？
• RQ5 人工反馈在多大程度上影响模型识别相关研究的能力？

主要发现

• ASReview 显著减少了需人工筛选的研究数量，提升了效率。
• 该系统在识别相关研究方面保持了高准确率，与人工筛选相比相当或更优。
• 结合人工反馈的主动学习相比随机筛选或非交互式筛选，能更快收敛到相关研究。
• ASReview 开源且透明的设计确保了综述过程的可复现性和可信度。
• 该软件在多种研究领域均表现有效，且能良好扩展至大规模综述数据集。
• ASReview 在保持系统性综述结果质量和可靠性的同时，显著缩短了综述时间。