[论文解读] Improving Named Entity Recognition with Attentive Ensemble of Syntactic Information

Yuyang Nie, Yuanhe Tian+3 more|arXiv (Cornell University)|Oct 29, 2020

Topic Modeling参考文献 71被引用 5

一句话总结

该论文提出AESINER，一种通过关键-值记忆网络、句法注意力和门控机制实现句法信息注意集成的神经命名实体识别模型，以选择性地编码、加权并整合词性标注、句法成分和依存关系等句法信息，从而提升性能。该模型通过动态强调相关句法特征并抑制噪声，在六个英文和中文基准数据集上实现了最先进（SOTA）的F1分数。

ABSTRACT

Named entity recognition (NER) is highly sensitive to sentential syntactic and semantic properties where entities may be extracted according to how they are used and placed in the running text. To model such properties, one could rely on existing resources to providing helpful knowledge to the NER task; some existing studies proved the effectiveness of doing so, and yet are limited in appropriately leveraging the knowledge such as distinguishing the important ones for particular context. In this paper, we improve NER by leveraging different types of syntactic information through attentive ensemble, which functionalizes by the proposed key-value memory networks, syntax attention, and the gate mechanism for encoding, weighting and aggregating such syntactic information, respectively. Experimental results on six English and Chinese benchmark datasets suggest the effectiveness of the proposed model and show that it outperforms previous studies on all experiment datasets.

研究动机与目标

• 解决现有命名实体识别（NER）模型将句法特征视为固定、标准输入而无法区分其相关性或处理噪声的问题。
• 开发一种机制，根据上下文智能地编码、加权并整合多种句法信息（词性标注、句法成分、依存关系）。
• 通过结合静态和上下文相关的词嵌入（如ELMo、BERT、ZEN）与句法感知注意力，提升NER性能。
• 证明注意集成机制能够选择性地强调信息丰富的句法信号，同时最小化噪声或无关特征的影响。

提出的方法

• 使用关键-值记忆网络（KVMN）为每个词元编码上下文特征及其对应的句法信息。
• 句法注意力根据不同句法信息类型（词性标注、句法成分、依存关系）与当前词元的相关性，计算动态权重。
• 门控机制控制上下文编码与句法注意力输出的融合，实现句法影响的上下文感知自适应。
• 整合多种词嵌入（静态和上下文相关，如ELMo、BERT、ZEN）以丰富输入表征。
• 整个架构通过条件随机场（CRF）解码的序列标注任务进行端到端训练。
• 注意集成机制可选择性地强调高价值句法信号，同时抑制噪声或无关信号。

实验结果

研究问题

• RQ1 注意集成机制是否能通过选择性加权不同类型的句法信息来提升NER性能？
• RQ2 与简单拼接相比，整合多种句法特征（词性标注、句法成分、依存关系）对NER准确率有何影响？
• RQ3 上下文相关的词嵌入在多大程度上提升了句法感知NER模型的性能？
• RQ4 所提出的门控机制是否能以上下文依赖的方式有效平衡上下文与句法信号？

主要发现

• 所提出的AESINER模型在全部六个基准数据集上均达到最先进性能——其中三个为英文数据集（CoNLL-2003、OntoNotes、ACE05），三个为中文数据集（MSRA、CCKS、OntoNotes-Chinese）。
• 在CoNLL-2003数据集上，模型取得98.65%的F1分数，超越先前最先进模型。
• 使用全部三种嵌入类型（ELMo、BERT、ZEN）的模型性能最高，且在增加嵌入类型时F1分数持续提升。
• 对句子'Mason was one of the drafters of the Bill of Rights'中'Bill'的案例研究显示，句法注意力正确强调了'句法成分'（指示为'LAW'），而非具有误导性的词性标注和依存关系信号，从而实现正确标注。
• 门控机制在句法特征更具信息量时分配更高权重，表明其能实现句法影响的上下文感知自适应。