[论文解读] Bipartite Flat-Graph Network for Nested Named Entity Recognition

Ying Luo, Hai Zhao|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 37被引用 8

一句话总结

该论文提出BiFlaG，一种用于嵌套命名实体识别的二分扁平图网络，通过平坦命名实体识别（NER）模块联合建模最外层实体，通过图卷积网络（GCN）模块联合建模内部嵌套实体。通过实现双向交互——其中图学习得到的内部实体表示可提升最外层实体预测——该模型在ACE2005、GENIA和KBP2017数据集上超越了先前的最先进方法。

ABSTRACT

In this paper, we propose a novel bipartite flat-graph network (BiFlaG) for nested named entity recognition (NER), which contains two subgraph modules: a flat NER module for outermost entities and a graph module for all the entities located in inner layers. Bidirectional LSTM (BiLSTM) and graph convolutional network (GCN) are adopted to jointly learn flat entities and their inner dependencies. Different from previous models, which only consider the unidirectional delivery of information from innermost layers to outer ones (or outside-to-inside), our model effectively captures the bidirectional interaction between them. We first use the entities recognized by the flat NER module to construct an entity graph, which is fed to the next graph module. The richer representation learned from graph module carries the dependencies of inner entities and can be exploited to improve outermost entity predictions. Experimental results on three standard nested NER datasets demonstrate that our BiFlaG outperforms previous state-of-the-art models.

研究动机与目标

• 解决分层嵌套NER模型中单向误差传播的局限性。
• 克服深层嵌套结构中高层级嵌套实体稀疏的问题。
• 通过建模最外层实体与内部嵌套实体之间的双向交互，提升实体边界与类型预测性能。
• 在捕捉通过图模型实现的层次依赖关系的同时，利用最外层实体的丰富序列级表示。
• 开发一种可泛化的框架，无需架构重构即可同时处理嵌套与平坦NER任务。

提出的方法

• 使用BiLSTM-CRF模型作为平坦NER模块，以识别最外层命名实体。
• 从平坦模块识别出的最外层实体构建实体图$G^1$，以表示潜在的嵌套跨度。
• 在实体图上应用图卷积网络（GCN），通过跨度起始节点与结束节点之间的迭代消息传递，学习内部嵌套实体的表示。
• 将增强后的图表示反馈回平坦模块，通过双向交互机制优化最外层实体预测。
• 采用两阶段框架：首先检测最外层实体，然后利用其结构上下文通过图传播引导内部实体检测。
• 通过共享token表示与联合优化，端到端地整合两个模块，实现平坦与嵌套结构的联合学习。

实验结果

研究问题

• RQ1 与单向分层模型相比，最外层实体与内部嵌套实体之间的双向交互是否能提升嵌套NER性能？
• RQ2 在高层嵌套层级中，通过图模型对内部实体进行建模，是否能有效缓解实体稀疏问题？
• RQ3 利用最外层实体的序列级上下文，在多大程度上能增强嵌套实体的检测能力？
• RQ4 通过分离平坦与嵌套实体学习的二分架构，是否能提升泛化能力并减少误差传播？
• RQ5 在嵌套NER基准测试中，所提出的交互机制是否在精确率与召回率方面优于基于区域或分层序列标注的方法？

主要发现

• BiFlaG在三个标准嵌套NER基准数据集（ACE2005、GENIA和KBP2017）上实现了最先进性能，且在相同评估设置下表现优异。
• 通过在平坦模块与图模块之间实现双向反馈，显著减少了误差传播，提升了最外层实体检测的准确性。
• 图模块能有效捕捉内部嵌套实体之间的依赖关系，尤其在实体稀疏性突出的深层嵌套场景中表现优异。
• 消融实验表明，若移除图模块或禁用模块间交互，性能将明显下降，证实了双向交互机制的重要性。
• 案例研究显示，该模型能准确识别复杂嵌套结构，如“Krispy Kreme最近关闭的我镇的地点”这一短语，边界与类型均正确。
• 通过简单移除图模块，该框架在非嵌套场景下仍能保持强性能，展现出良好的泛化能力。