[论文解读] Dependency-Aware Named Entity Recognition with Relative and Global Attentions

Gustavo Aguilar, Thamar Solorio|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 34被引用 10

一句话总结

该论文提出了一种依赖感知的命名实体识别模型，通过将Tree-LSTM与相对注意力和全局注意力机制相结合，捕捉依存树中的句法关系，从而提升长距离依赖关系的建模性能。该模型在OntoNotes 5.0（BN）和SemEval 2010数据集上实现了新的SOTA性能，通过学习关注具有句法信息的词语（如表示动作或位置的动词），揭示其语法角色所对应的实体类型。

ABSTRACT

Named entity recognition is one of the core tasks in NLP. Although many improvements have been made on this task during the last years, the state-of-the-art systems do not explicitly take into account the recursive nature of language. Instead of only treating the text as a plain sequence of words, we incorporate a linguistically-inspired way to recognize entities based on syntax and tree structures. Our model exploits syntactic relationships among words using a Tree-LSTM guided by dependency trees. Then, we enhance these features by applying relative and global attention mechanisms. On the one hand, the relative attention detects the most informative words in the sentence with respect to the word being evaluated. On the other hand, the global attention spots the most relevant words in the sequence. Lastly, we linearly project the weighted vectors into the tagging space so that a conditional random field classifier predicts the entity labels. Our findings show that the model detects words that disclose the entity types based on their syntactic roles in a sentence (e.g., verbs such as speak and write are attended when the entity type is PERSON, whereas meet and travel strongly relate to LOCATION). We confirm our findings and establish a new state of the art on two datasets.

研究动机与目标

• 为解决现有NER模型将文本视为线性序列、忽略递归句法结构的局限性。
• 提升在长句或复杂句中进行准确实体标注时的性能，此类句子中句法依赖关系至关重要。
• 探究注意力机制是否能有效突出提示实体类型的句法信息词。
• 通过整合句法结构与深度上下文表示，建立NER的新SOTA。
• 发布代码与分析，确保实验与发现的完全可复现性。

提出的方法

• 该模型使用受依存树引导的Tree-LSTM架构来编码句法结构，捕捉词之间的递归关系。
• 应用相对注意力机制，基于句法与语义相关性，为每个目标词识别上下文中最具信息量的词语。
• 使用全局注意力机制突出整个句子中最显著的词语，平衡局部与全局上下文。
• 将Tree-LSTM与BiLSTM的隐藏表示拼接后，投影到标签空间，再通过CRF解码。
• 最终通过CRF层对投影表示进行解码，预测实体标签。
• 模型采用交叉熵损失进行端到端训练，并在标准NER基准上进行评估。

实验结果

研究问题

• RQ1 在NER中引入依存树结构是否能提升长句或复杂句的性能？
• RQ2 相对注意力与全局注意力机制是否有助于模型识别提示实体类型的句法信息词？
• RQ3 依存句法解析的质量如何影响模型的性能与鲁棒性？
• RQ4 模型能否学习到实体类型与其句法角色（如动词作主语或宾语）之间的有意义关联？
• RQ5 句法与语义特征的融合是否能带来NER领域的新SOTA？

主要发现

• 在OntoNotes 5.0广播新闻部分，该模型实现了89.22的F1分数，达到新的SOTA。
• 在SemEval 2010数据集上，该模型达到86.49的F1分数，确立了新的SOTA。
• 当依存树由自动解析生成时，SemEval 2010上的性能下降了3.31个F1分数点，表明模型对解析质量有强依赖性。
• 在识别PERSON实体时，模型学会关注如'speak'、'write'和'die'等动词；在识别LOCATION实体时，则关注'travel'、'meet'和'entitle'等动词。
• 对于PERSON实体，'president'、'officer'和'assistant'等词常被关注，表明模型识别到了基于角色的线索。
• 错误分析显示，自动解析生成的多根依存树显著降低性能，尤其在包含语音转录文本的数据集中更为明显。