[论文解读] Improving Active Learning in Systematic Reviews

Gaurav Singh, James Thomas+1 more|arXiv (Cornell University)|Jan 29, 2018

Machine Learning and Algorithms参考文献 12被引用 6

一句话总结

该论文提出了一种用于系统性综述的新型主动学习框架，结合基于LDA的主题建模与分类器的关联性与新颖性评分，以优先筛选文档。通过将关联性（来自训练好的分类器）与新颖性（来自主题差异）评分相乘，该方法在保持高召回率的同时显著减少了人工标注工作量，在实验中仅标注25%的文档即实现了95%的召回率。

ABSTRACT

Systematic reviews are essential to summarizing the results of different clinical and social science studies. The first step in a systematic review task is to identify all the studies relevant to the review. The task of identifying relevant studies for a given systematic review is usually performed manually, and as a result, involves substantial amounts of expensive human resource. Lately, there have been some attempts to reduce this manual effort using active learning. In this work, we build upon some such existing techniques, and validate by experimenting on a larger and comprehensive dataset than has been attempted until now. Our experiments provide insights on the use of different feature extraction models for different disciplines. More importantly, we identify that a naive active learning based screening process is biased in favour of selecting similar documents. We aimed to improve the performance of the screening process using a novel active learning algorithm with success. Additionally, we propose a mechanism to choose the best feature extraction method for a given review.

研究动机与目标

• 通过自动化选择最具有信息量的文档供人工审查，以减轻系统性综述中的手动标注负担。
• 通过改进主动学习策略，超越标准的不确定性采样，应对系统性综述中标签稀缺的挑战。
• 将主题建模（LDA）与分类相结合，以在文档选择中平衡关联性与多样性。
• 评估结合关联性与新颖性评分是否能提升系统性综述主动学习中的召回率与效率。
• 提供一种实用且可扩展的方法，适用于大规模文献筛选与证据综合。

提出的方法

• 该方法从一组初始人工标注文档（$\mathcal{H}$）和一个未标注文档池（$\mathcal{G} = \mathcal{D} - \mathcal{H}$）开始。
• 对完整文档集合（$\mathcal{D}$）应用LDA，以学习语料库的300个主题表示（$V$）。
• 在$\mathcal{H}$上训练分类器，以预测每个文档$d \in \mathcal{G}$的关联性评分$R(d)$，表示$p(r|d)$。
• 通过$\mathcal{H}$与$\mathcal{G}$之间的主题差异计算新颖性评分$N(d)$，表示$p(n|d)$，并引入时间衰减因子$t=3$。
• 文档的综合评分为$\text{scores}(d) = R(d) \times N(d)$，结合关联性与新颖性，以优先选择信息丰富、多样化且相关的文档。
• 每次迭代中选择综合评分最高的$s=25$篇文档进行标注，重复此过程，直至最多探索150个主题。

实验结果

研究问题

• RQ1 与标准不确定性采样相比，结合关联性与新颖性评分是否能提升系统性综述中主动学习的性能？
• RQ2 LDA主题建模的集成如何增强主动学习过程中具有信息量文档的选择？
• RQ3 基于主题差异计算的新颖性评分对减少冗余标注和提升覆盖范围有何影响？
• RQ4 所提出的方法在多大程度上能减少需要人工标注的文档数量，同时保持高召回率？
• RQ5 时间衰减因子$t$如何影响文档选择中关联性与新颖性之间的平衡？

主要发现

• 该方法在仅标注25%文档的情况下，实现了系统性综述筛选95%的召回率，显著减少了人工工作量。
• 关联性与新颖性评分的结合优于基线方法，通过优先选择信息丰富且多样化的文档实现了更优性能。
• 基于LDA的主题建模有效估计了新颖性，通过测量已标注与未标注集合间主题分布的变化实现。
• 采用乘法评分函数（$R(d) \times N(d)$）有效平衡了关联性与多样性，提升了选择效率。
• 该方法在实际系统性综述工作流中表现出良好的可扩展性与实用性，且所需调参极少。
• 时间衰减因子$t=3$通过降低较旧、相关性较低文档的影响，有助于在时间维度上保持关联性。