[论文解读] Enhancing Label Consistency on Document-level Named Entity Recognition

Minbyul Jeong, Jaewoo Kang|arXiv (Cornell University)|Oct 24, 2022

Topic Modeling被引用 4

一句话总结

本文提出 ConNER，一种通过标签精炼与表征蒸馏来优化修饰词（如形容词、介词）标签一致性的方法，从而提升文档级生物医学命名实体识别中的标签一致性。该方法在低一致性数据集上实现了 7.5–8.6% 的绝对 F1 分数提升，且无需修改主分类头，仅通过改进修饰词的标签依赖性来实现。

ABSTRACT

Named entity recognition (NER) is a fundamental part of extracting information from documents in biomedical applications. A notable advantage of NER is its consistency in extracting biomedical entities in a document context. Although existing document NER models show consistent predictions, they still do not meet our expectations. We investigated whether the adjectives and prepositions within an entity cause a low label consistency, which results in inconsistent predictions. In this paper, we present our method, ConNER, which enhances the label dependency of modifiers (e.g., adjectives and prepositions) to achieve higher label agreement. ConNER refines the draft labels of the modifiers to improve the output representations of biomedical entities. The effectiveness of our method is demonstrated on four popular biomedical NER datasets; in particular, its efficacy is proved on two datasets with 7.5-8.6% absolute improvements in the F1 score. We interpret that our ConNER method is effective on datasets that have intrinsically low label consistency. In the qualitative analysis, we demonstrate how our approach makes the NER model generate consistent predictions. Our code and resources are available at https://github.com/dmis-lab/ConNER/.

研究动机与目标

• 为解决文档级 NER 模型中不一致的预测问题，特别是针对标签一致性较低的修饰词（如形容词和介词）
• 通过增强生物医学实体内修饰词的标签依赖性，提升整体预测一致性
• 开发一种在不修改主分类头的前提下强化修饰词标签表征的方法
• 在低资源和低一致性生物医学 NER 基准上评估该方法，证明其在多样化数据集上的鲁棒性

提出的方法

• ConNER 对上下文感知表征下的修饰词标记（如 'primary'、'hereditary'）的初步预测结果进行标签精炼
• 引入蒸馏损失 ($L_{distill}$)，通过将预测结果与精炼后的标签对齐，促使模型学习到一致的标签表征
• 使用一致性评分 ($\phi_{tCon}$) 衡量训练集与测试集间标记级别的标签一致性，指导对低一致性标记的精炼
• 以预训练的生物医学语言模型（BioBERT、BioLM）作为骨干网络，并仅对修饰词标记应用精炼，以保持主分类性能
• 在训练过程中通过超参数 $\Gamma$ 控制精炼强度，其中 $\Gamma=0.3$ 在所有数据集上均表现出稳定性能
• 该方法设计为即插即用，无需修改主分类层，因此可与现有文档级 NER 框架兼容

实验结果

研究问题

• RQ1 文档级 NER 模型中不一致预测的根本原因是什么，特别是针对形容词和介词等修饰词？
• RQ2 提升修饰词的标签依赖性在多大程度上能增强生物医学 NER 中的整体标签一致性和 F1 性能？
• RQ3 所提出的标签精炼与蒸馏机制在低一致性数据集上对预测一致性有何影响？
• RQ4 ConNER 是否能泛化到低密度词和标签一致性低的子词？
• RQ5 超参数 $\Gamma$ 如何影响标签精炼过程的稳定性和性能？

主要发现

• ConNER 在两个低一致性生物医学 NER 数据集（NCBI-disease 和 Gellus）上实现了 7.5–8.6% 的绝对 F1 分数提升，证明了其在存在固有标签不一致性的数据集上的强有效性
• 在 NCBI-disease 数据集上，ConNER 将 'primary' 的一致性评分 ($\phi_{tCon}$) 从基线模型的 0%（BioLM）提升至测试集的 100%，表明其有效纠正了不一致的预测
• 对于 'surgical' 这一标记，其在训练集中的一致性得分为 92.3%，ConNER 成功在预测中保持了高一致性，证实其在高频修饰词上维持标签依赖关系的能力
• 该方法在五个随机种子下均表现出稳定性能，$\Gamma=0.3$ 在所有基准上均带来一致的性能增益，表明对初始化具有鲁棒性
• ConNER 成功将 'rectal carcinoma' 一致地预测为一个实体，而基线模型在某些实例中将 'rectal' 标记为实体，另一些实例中则标记为非实体，表现出不一致性
• 尽管性能有所提升，ConNER 在 'mesorectum' 和 'margin' 等低密度词上仍表现不佳，且对 'lymph' 等子词（一致性得分为 0.62）的处理也存在局限，表明其在罕见或不一致子词上的泛化能力有限