[论文解读] Dependency-Guided LSTM-CRF for Named Entity Recognition

Zhanming Jie, Wei Lu|arXiv (Cornell University)|Sep 23, 2019

Topic Modeling参考文献 48被引用 6

一句话总结

本文提出了一种依赖引导的LSTM-CRF模型，通过利用完整的依存树结构来提升命名实体识别（NER）性能。通过编码长距离句法依赖关系和孙辈关系，该模型捕捉了非局部交互，实现在多个数据集上的最先进性能，尤其在较长实体及通过关键依存关系连接的实体上取得显著提升。

ABSTRACT

Dependency tree structures capture long-distance and syntactic relationships between words in a sentence. The syntactic relations (e.g., nominal subject, object) can potentially infer the existence of certain named entities. In addition, the performance of a named entity recognizer could benefit from the long-distance dependencies between the words in dependency trees. In this work, we propose a simple yet effective dependency-guided LSTM-CRF model to encode the complete dependency trees and capture the above properties for the task of named entity recognition (NER). The data statistics show strong correlations between the entity types and dependency relations. We conduct extensive experiments on several standard datasets and demonstrate the effectiveness of the proposed model in improving NER and achieving state-of-the-art performance. Our analysis reveals that the significant improvements mainly result from the dependency relations and long-distance interactions provided by dependency trees.

研究动机与目标

• 通过整合完整依存树中的句法信息，改进命名实体识别（NER）。
• 利用依存结构捕捉词语之间的长距离和非局部交互，尤其针对较长或复杂的实体。
• 探究依存树中的依存关系和子树结构是否与命名实体类型相关，并提升识别性能。
• 开发一种神经网络模型，有效编码依存树拓扑结构，而不依赖线性链假设。

提出的方法

• 模型采用双流架构：一条流通过双向LSTM处理词序列，另一条流通过树LSTM变体处理依存树结构。
• 将依存关系嵌入融入输入表示，以编码词语之间的句法角色（例如，nsubj、pobj）。
• 在LSTM输出之上使用CRF层，以确保序列级别的标签一致性。
• 树LSTM单元聚合来自父子和孙辈依存边的信息，实现对高阶、长距离交互的建模。
• 通过修改后的树LSTM对完整依存图进行编码，按拓扑顺序处理依存树，以保留结构依赖关系。
• 最终预测通过CRF层完成，同时考虑上下文和结构依赖关系。

实验结果

研究问题

• RQ1 完整的依存树结构是否能通过捕捉长距离句法依赖关系来提升NER性能？
• RQ2 特定的依存关系（例如，nsubj、pobj）是否与命名实体类型表现出强相关性？
• RQ3 在实体跨度内建模孙辈依赖关系（GD）是否能带来可测量的NER性能提升，尤其对较长实体？
• RQ4 与标准的BiLSTM-CRF基线相比，依存信息的整合在不同语言上的性能和鲁棒性如何？

主要发现

• DGLSTM-CRF模型在OntoNotes英语、中文、加泰罗尼亚语和西班牙语数据集上均达到最先进性能，尤其在西班牙语上比BiLSTM-CRF高出最多5.1 F1分。
• 对于长度≥6的实体，该模型在英语上F1提升21.3分，加泰罗尼亚语上提升16.6分，西班牙语上提升26.7分，表明对长实体具有显著优势。
• 在识别包含孙辈依赖关系的实体方面，模型性能提升达30%，证实建模高阶交互具有实际价值。
• 分析显示，在英语中，长度>2的实体性能提升中，85%与长距离依赖相关，其中30%涉及孙辈依赖。
• 添加依存关系嵌入可提升性能，而用加法交互函数替代则导致F1下降约0.4分，表明关系特异性信息至关重要。