[论文解读] Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop

Md Tahmid Rahman Laskar, Cheng Chen+2 more|arXiv (Cornell University)|Nov 2, 2022

Topic Modeling被引用 5

一句话总结

本文提出一种人机协同的主动学习框架，用于识别并重新标注存在噪声的电话对话转录文本中的命名实体识别（NER）错误，显著减少了完整重新标注的需求。仅重新标注6%的训练数据，该方法使组织类实体的F1分数最高提升25.27%，整体F1提升1.52%，即使在低资源生产环境中使用小型模型也能实现高性能NER。

ABSTRACT

Telephone transcription data can be very noisy due to speech recognition errors, disfluencies, etc. Not only that annotating such data is very challenging for the annotators, but also such data may have lots of annotation errors even after the annotation job is completed, resulting in a very poor model performance. In this paper, we present an active learning framework that leverages human in the loop learning to identify data samples from the annotated dataset for re-annotation that are more likely to contain annotation errors. In this way, we largely reduce the need for data re-annotation for the whole dataset. We conduct extensive experiments with our proposed approach for Named Entity Recognition and observe that by re-annotating only about 6% training instances out of the whole dataset, the F1 score for a certain entity type can be significantly improved by about 25%.

研究动机与目标

• 解决因语音识别错误及缺乏标点符号和大小写规范而导致难以准确标注的噪声电话对话转录文本问题。
• 通过仅识别最易出错的样本进行重新标注，降低完整数据重新标注的高成本与高工作量。
• 提升真实世界噪声对话数据中命名实体识别的性能，特别是区分组织与产品实体的能力。
• 实现在低资源生产环境中高效部署小型模型（如DistilBERT）并保持高性能。

提出的方法

• 该框架利用主动学习筛选最可能包含标注错误的训练样本，重点关注模糊或高不确定性的预测结果。
• 通过模型不确定性及集成模型预测结果之间的分歧来优先选择需人工重新标注的样本。
• 标注人员仅对选定的6%数据进行重新标注，重点针对组织与产品实体，这些实体在噪声文本中尤其难以区分。
• 使用重新标注的数据微调DistilBERT模型，提升其在噪声真实对话文本上的性能。
• 采用“蒸馏-微调”（dtft）策略：使用大型LUKE模型在483,766条未标注话语上生成伪标签，随后用于微调更小的DistilBERT学生模型。
• 最终模型在生产环境中部署，实现了高性能，且计算资源需求极低。

实验结果

研究问题

• RQ1 主动学习能否有效识别噪声ASR生成电话对话转录文本中易出现标注错误的样本？
• RQ2 仅重新标注少量数据（如6%）在组织与产品实体上的NER性能可提升多大程度？
• RQ3 所提出的“人机协同”主动学习框架是否能显著减少完整数据重新标注的需求，同时保持或提升模型泛化能力？
• RQ4 当使用重新标注数据与伪标签训练时，小型高效模型（如DistilBERT）是否能在噪声对话NER任务上实现高性能？
• RQ5 “蒸馏-微调”（dtft）方法在提升低资源、噪声对话数据上的模型性能方面效果如何？

主要发现

• 仅重新标注6%的训练数据，组织类实体的F1分数提升了25.27%。
• 在所有四类实体（人名、地点、产品、组织）上，整体F1分数在重新标注后提升了1.52%。
• 除“人名”外，所有实体类型的精确率、召回率和F1分数均有所提升，其中组织类实体的增益最为显著。
• “蒸馏-微调”（dtft）策略进一步提升了模型性能，使小型DistilBERT模型得以在生产环境中实现高精度部署。
• 该方法有效减少了完整数据重新标注的需求，同时显著提升了模型在未见实体和噪声文本上的鲁棒性。
• 该框架在低资源、噪声对话环境中有效区分了相似实体类型（如产品与组织）