[论文解读] A Practical Incremental Learning Framework For Sparse Entity Extraction

Hussein S. Al-Olimat, Steven Gustafson+3 more|arXiv (Cornell University)|Jun 26, 2018

Topic Modeling参考文献 23被引用 4

一句话总结

本文提出了一种增量式、交互式学习框架，结合主动学习（AL）与实体集扩展（ESE），以降低稀疏实体抽取中的标注成本。通过使用自动标注模式（FA、HFA、UFA）及一种在线评估方法以实现灵活的停止标准，该框架在三个数据集上实现了0.9–1.0的F-Score，同时将标注成本降低了45–85%，在低资源实体类别上表现出稳健性能。

ABSTRACT

This work addresses challenges arising from extracting entities from textual data, including the high cost of data annotation, model accuracy, selecting appropriate evaluation criteria, and the overall quality of annotation. We present a framework that integrates Entity Set Expansion (ESE) and Active Learning (AL) to reduce the annotation cost of sparse data and provide an online evaluation method as feedback. This incremental and interactive learning framework allows for rapid annotation and subsequent extraction of sparse data while maintaining high accuracy. We evaluate our framework on three publicly available datasets and show that it drastically reduces the cost of sparse entity annotation by an average of 85% and 45% to reach 0.9 and 1.0 F-Scores respectively. Moreover, the method exhibited robust performance across all datasets.

研究动机与目标

• 解决企业及领域特定语料中稀疏实体类别标注成本高、效率低的问题。
• 通过整合ESE与AL，克服监督序列标注中的数据稀疏性与标注饥饿问题。
• 通过自动标注模式与灵活的停止标准，实现实时、高精度的实体抽取，无需完整黄金标准评估。
• 提出一种在线模型置信度评估方法，支持增量学习，降低对黄金标准标注的依赖。
• 开发一种可使用、可扩展的框架，适用于资源受限环境下的实际部署。

提出的方法

• 采用基于池的主动学习（AL），结合线性链条件随机场（CRF）模型，迭代选择最具信息量的句子进行标注。
• 整合实体集扩展（ESE），通过类比发现语义相似的实体，从而从少量种子示例中加速学习。
• 实现三种自动标注模式——快速（FA）、超快（HFA）与极快（UFA），用于预标注句子，减少人工标注工作量。
• 基于模型置信度估计（公式3与4）的在线评估方法，用于确定停止标准，无需黄金标准数据。
• 采用灵活的停止标准，当模型置信度达到阈值时停止标注，实现成本与性能的平衡。
• 将框架集成至Stanford CoreNLP，以提升可用性并实现开源发布。

实验结果

研究问题

• RQ1 结合ESE与AL是否能在保持高模型准确率的同时降低稀疏实体抽取的标注成本？
• RQ2 不同自动标注模式（FA、HFA、UFA）在减少需人工标注句子数量方面的有效性如何？
• RQ3 基于模型置信度的在线评估方法在停止标准中，能在多大程度上替代黄金标准评估？
• RQ4 与先前工作（如Tsuruoka et al., 2008）相比，该框架在覆盖度与标注效率方面表现如何？
• RQ5 该框架是否能在多样化的低资源实体类别与数据集上保持稳健性能？

主要发现

• 该框架在三个公开数据集上将标注成本降低了45%至85%，分别实现了1.0与0.9的F-Score。
• EAL查询策略相较于Tsuruoka et al. (2008)减少2,800–4,000个句子即可达到相同覆盖度，表现更优。
• HFA自动标注模式在仅导致F-Score下降10%的情况下，将标注工作量减少了33%，在企业应用中极具实用性。
• FA模式在Location类别上实现65%的标注减少，即可达到0.99的F-Score，展现出优异的成本-性能权衡。
• 在线评估方法在估计F-Score为1.0时，平均误差仅3%，表明其在模型置信度估计方面具有高度可靠性。
• 尽管在GENIA-Cell-Type与GENIA-Virus等数据集中因缺少黄金标准标注导致早期F-Score曲线存在一定程度高估，但框架在所有数据集上均保持了稳健性能。