[论文解读] A Novel Framework to Expedite Systematic Reviews by Automatically Building Information Extraction Training Corpora

Tanmay Basu, Shraman Kumar+5 more|arXiv (Cornell University)|Jun 21, 2016

Biomedical Text Mining and Ontologies参考文献 16被引用 6

一句话总结

该论文提出了一种新颖的框架，通过利用现有的系统性综述自动构建信息抽取的训练语料，从而消除对昂贵的人工标注的依赖。通过采用改进的Jaccard相似度从参考PDF中提取相关句子，并训练SVM分类器，该系统在识别纳入标准方面实现了93.75%的召回率和27.05%的精确率，平均仅需人工审查3.7个句子。

ABSTRACT

A systematic review identifies and collates various clinical studies and compares data elements and results in order to provide an evidence based answer for a particular clinical question. The process is manual and involves lot of time. A tool to automate this process is lacking. The aim of this work is to develop a framework using natural language processing and machine learning to build information extraction algorithms to identify data elements in a new primary publication, without having to go through the expensive task of manual annotation to build gold standards for each data element type. The system is developed in two stages. Initially, it uses information contained in existing systematic reviews to identify the sentences from the PDF files of the included references that contain specific data elements of interest using a modified Jaccard similarity measure. These sentences have been treated as labeled data.A Support Vector Machine (SVM) classifier is trained on this labeled data to extract data elements of interests from a new article. We conducted experiments on Cochrane Database systematic reviews related to congestive heart failure using inclusion criteria as an example data element. The empirical results show that the proposed system automatically identifies sentences containing the data element of interest with a high recall (93.75%) and reasonable precision (27.05% - which means the reviewers have to read only 3.7 sentences on average). The empirical results suggest that the tool is retrieving valuable information from the reference articles, even when it is time-consuming to identify them manually. Thus we hope that the tool will be useful for automatic data extraction from biomedical research publications. The future scope of this work is to generalize this information framework for all types of systematic reviews.

研究动机与目标

• 减少在构建系统性综述中信息抽取训练数据时的人工标注的时间和成本。
• 利用现有的系统性综述作为知识来源，自动化识别生物医学文献中的临床相关数据元素。
• 开发一种可扩展的框架，可泛化应用于不同类型系统性综述和数据元素。
• 通过仅检索参考文献中最相关句子，最大限度减少审稿人工作量。

提出的方法

• 利用现有的系统性综述，通过改进的Jaccard相似度度量方法，从纳入的参考PDF中提取包含目标数据元素的句子。
• 将识别出的句子作为弱标签训练数据，用于监督学习。
• 在自动构建的标注数据上训练支持向量机（SVM）分类器，以从未 published primary research articles中提取相同的数据元素。
• 该框架利用参考文献摘录与系统性综述中描述的纳入标准之间的句子级相似度，识别相关内容。
• 该方法通过重用已发表的系统性综述中已存在的信息，避免了人工标注。
• 该方法在聚焦于充血性心力衰竭的Cochrane数据库综述上进行了评估，以纳入标准作为目标数据元素。

实验结果

研究问题

• RQ1 能否利用现有的系统性综述，在无需人工标注的情况下，自动生成信息抽取的训练数据？
• RQ2 改进的Jaccard相似度度量在识别包含目标数据元素的参考文献中的相关句子方面效果如何？
• RQ3 在生物医学文献的数据抽取中，使用自动构建的训练语料可达到的召回率和精确率水平如何？
• RQ4 所提出的框架在多大程度上减少了系统性综述审稿人的手动审查负担？
• RQ5 该框架能否泛化应用于不同类型系统性综述和数据元素？

主要发现

• 该框架在从未发表的文献中识别出包含目标数据元素（纳入标准）的句子时，召回率达到93.75%，表明其在捕获相关内容方面具有很高的敏感性。
• 精确率为27.05%，意味着审稿人平均只需检查3.7个句子即可找到相关信息，显著减少了人工工作量。
• 采用改进的Jaccard相似度度量方法，无需人工标注即可有效识别参考PDF中的相关句子。
• 在自动生成的训练数据上训练的SVM分类器表现稳定，证明了弱监督在生物医学信息抽取中的可行性。
• 结果表明，该框架可通过最小化人工数据提取任务，显著加速系统性综述的进程。
• 该方法具有可扩展性和泛化能力，未来可扩展至其他类型的数据元素和系统性综述类型。