[论文解读] Efficient Dependency-Guided Named Entity Recognition

Zhanming Jie, Aldrian Obaja Muis+1 more|arXiv (Cornell University)|Oct 19, 2018

Topic Modeling参考文献 2被引用 6

一句话总结

本文提出了一种新型的依赖引导命名实体识别（NER）模型，该模型显式利用依存树中的全局结构信息（如由连续依存弧覆盖的跨度），而非仅依赖局部特征。该模型基于半马尔可夫CRF构建，实现了具有竞争力的NER性能，同时显著降低了推理时间，其每轮训练时间仅为标准半马尔可夫CRF的47%，且保持了高准确率。

ABSTRACT

Named entity recognition (NER), which focuses on the extraction of semantically meaningful named entities and their semantic classes from text, serves as an indispensable component for several down-stream natural language processing (NLP) tasks such as relation extraction and event extraction. Dependency trees, on the other hand, also convey crucial semantic-level information. It has been shown previously that such information can be used to improve the performance of NER (Sasano and Kurohashi 2008, Ling and Weld 2012). In this work, we investigate on how to better utilize the structured information conveyed by dependency trees to improve the performance of NER. Specifically, unlike existing approaches which only exploit dependency information for designing local features, we show that certain global structured information of the dependency trees can be exploited when building NER models where such information can provide guided learning and inference. Through extensive experiments, we show that our proposed novel dependency-guided NER model performs competitively with models based on conventional semi-Markov conditional random fields, while requiring significantly less running time.

研究动机与目标

• 探究是否能够有效利用依存树中的全局结构信息，以超越局部特征，提升NER性能。
• 开发一种新型NER模型，在学习与推理过程中显式整合依存树结构，而非将之视为辅助特征。
• 与现有基于半马尔可夫CRF的模型相比，实现具有显著降低计算成本的竞争力NER性能。
• 证明可利用依存结构信息以指导实体跨度检测，从而提升模型效率与准确率。
• 探索将依存分析中的结构先验信息整合到序列标注任务中，而不增加模型复杂度的可行性。

提出的方法

• 该模型称为依赖引导模型（dgm），基于半马尔可夫条件随机场（semi-CRFs），利用依存树的全局结构。
• 通过识别由一个或多个相邻依存弧覆盖的连续跨度作为有效的命名实体跨度，利用此结构信息指导标注。
• 将基于依存的结构约束直接编码进CRF框架，使其仅考虑相关的结构配置。
• 在平均情况下分析时间复杂度，显示其与线性链CRF等价，且优于半马尔可夫CRF（因额外因子$L$导致更高复杂度）。
• 以依存树作为输入，假设其由解析器（如MaltParser）预先计算，且不端到端训练解析器。
• dgm-s变体使用简化的依存结构，而完整dgm模型则使用更丰富的结构信息，两者均旨在减少每个词元所考虑的边数。

实验结果

研究问题

• RQ1 依存树中的全局结构信息（超越局部主词特征）是否能提升NER性能？
• RQ2 如何将依存树结构显式整合到NER模型的学习与推理过程中？
• RQ3 利用结构跨度（即由连续依存弧覆盖的实体）是否能带来比基于局部特征的方法更优或更高效的NER性能？
• RQ4 与标准半马尔可夫CRF相比，此类依赖引导模型的理论与实证时间复杂度如何？
• RQ5 模型性能对输入依存解析质量的敏感度如何？

主要发现

• 所提出的dgm模型在基准数据集上的NER性能与半马尔可夫CRF相当，尽管其计算时间显著减少。
• 该模型每轮迭代的训练时间仅为标准半马尔可夫CRF模型的47%，展现出显著的效率优势。
• dgm-s变体在速度上与线性链CRF相当，同时仍能受益于结构信息。
• 模型性能对输入依存解析质量高度敏感：错误的解析可能导致错误的实体跨度检测，如图5所示。
• 即使依存解析不完美，当局部特征（如首字母大写、词性标注）较强时，模型仍能正确识别实体；但当依存结构错误并误导跨度检测时，模型会失效。
• 每个词元所考虑的边数平均减少至40（dgm-s）和61（dgm），相比半马尔可夫CRF的132条，直接促进了更快的推理速度。