[论文解读] Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles

Hyunjae Kim, Mujeen Sung+3 more|arXiv (Cornell University)|Nov 20, 2021

Topic Modeling参考文献 14被引用 5

一句话总结

本论文提出了一种混合方法，结合基于词典的归一化与神经命名实体识别（NER），并引入文章内多数投票机制，以提升从全文生物医学文章中进行化学实体识别的标记一致性和实体覆盖率。在NLM-Chem数据集和BioCreative VII挑战赛中进行评估，该系统取得了最先进性能，在NER任务中排名首位，显著优于基线模型，且在超过80个提交中表现优异。

ABSTRACT

This paper is a technical report on our system submitted to the chemical identification task of the BioCreative VII Track 2 challenge. The main feature of this challenge is that the data consists of full-text articles, while current datasets usually consist of only titles and abstracts. To effectively address the problem, we aim to improve tagging consistency and entity coverage using various methods such as majority voting within the same articles for named entity recognition (NER) and a hybrid approach that combines a dictionary and a neural model for normalization. In the experiments on the NLM-Chem dataset, we show that our methods improve models' performance, particularly in terms of recall. Finally, in the official evaluation of the challenge, our system was ranked 1st in NER by significantly outperforming the baseline model and more than 80 submissions from 16 teams.

研究动机与目标

• 解决从全文生物医学文章中进行化学实体识别时存在的实体覆盖率低与标记不一致的问题。
• 提升模型在全文数据上的性能，此类数据相较于仅标题与摘要的数据集更为复杂。
• 通过文章内投票机制，提升同一文章不同部分之间的标记一致性。
• 通过结合神经模型与化学词典的混合归一化方法，提升召回率。
• 在BioCreative VII第2赛道的化学识别任务中实现最先进结果。

提出的方法

• 采用混合归一化策略，结合预定义的化学词典与深度神经网络进行实体识别。
• 在同一篇文章的不同部分之间应用多数投票机制，以解决NER预测中的不一致性。
• 使用序列标注模型（如基于BERT的模型）在NLM-Chem数据集上进行微调，以实现命名实体识别。
• 聚合多个模型头或推理运行的预测结果，以提升置信度与一致性。
• 利用全文文章中的上下文信息，增强对复杂句式中化学实体的识别能力。
• 在正式参与BioCreative VII挑战赛之前，先在NLM-Chem数据集上验证该方法的有效性。

实验结果

研究问题

• RQ1 在同一篇文章的不同部分之间应用多数投票是否能提升化学NER的标记一致性？
• RQ2 将神经模型与化学词典结合，能在多大程度上提升实体覆盖率与召回率？
• RQ3 混合NER系统在全文生物医学文章上的性能与纯神经模型相比如何？
• RQ4 文章内的一致性机制是否能减少化学实体识别中的假阴性？
• RQ5 全文上下文对提升罕见或复杂化学实体识别的性能有何影响？

主要发现

• 所提出的系统在BioCreative VII第2赛道挑战中排名第一，优于来自16支队伍的80多个提交。
• 与基线模型相比，混合归一化方法显著提升了召回率，尤其在罕见或复杂化学实体上表现更优。
• 在文章各部分之间应用多数投票机制，有效减少了标记不一致，提升了整体标记可靠性。
• 该系统在全文文章上的表现尤为出色，而这类数据相较于仅标题与摘要的数据集更具挑战性。
• 在NLM-Chem数据集上，该方法取得了最先进结果，证实了所提技术的有效性。
• 神经NER与基于词典的归一化相结合，显著提升了实体覆盖率与一致性。