[论文解读] Bottom-Up Constituency Parsing and Nested Named Entity Recognition with Pointer Networks

Songlin Yang, Kewei Tu|arXiv (Cornell University)|Oct 11, 2021

Topic Modeling被引用 12

一句话总结

本文提出了一种新颖的自底向上成分分析与嵌套命名实体识别（NER）框架，采用带有后序遍历机制的指针网络。通过追踪连续生成跨度之间的共享边界，该模型以线性时间高效构建有效的 n 元树，在 PTB 数据集上实现了 BERT 基模型中的最先进 F1 得分 96.01，并在嵌套 NER 基准上表现出色。

ABSTRACT

Constituency parsing and nested named entity recognition (NER) are similar tasks since they both aim to predict a collection of nested and non-crossing spans. In this work, we cast nested NER to constituency parsing and propose a novel pointing mechanism for bottom-up parsing to tackle both tasks. The key idea is based on the observation that if we traverse a constituency tree in post-order, i.e., visiting a parent after its children, then two consecutively visited spans would share a boundary. Our model tracks the shared boundaries and predicts the next boundary at each step by leveraging a pointer network. As a result, it needs only linear steps to parse and thus is efficient. It also maintains a parsing configuration for structural consistency, i.e., always outputting valid trees. Experimentally, our model achieves the state-of-the-art performance on PTB among all BERT-based models (96.01 F1 score) and competitive performance on CTB7 in constituency parsing; and it also achieves strong performance on three benchmark datasets of nested NER: ACE2004, ACE2005, and GENIA. Our code is publicly available at \url{https://github.com/sustcsonglin/pointer-net-for-nested}.

研究动机与目标

• 为解决现有自顶向下解析方法存在的错误传播与无法利用子树特征等局限，提出一种自底向上的解析方法。
• 实现在无需二叉化的情况下，对非二叉成分树进行高效、线性时间的解析。
• 通过利用其嵌套且不交叉的跨度结构这一共同特性，将成分分析与嵌套 NER 统一于同一框架下。
• 通过结构化解码器利用丰富的子树表示，提升嵌套 NER 的性能。
• 通过光标机制追踪共享边界，确保解码过程中的结构一致性。

提出的方法

• 该模型采用序列到序列框架，使用指针网络解码器以后序遍历方式生成跨度，确保连续跨度共享边界。
• 光标追踪最近生成跨度的右边界，并通过指针网络引导下一个边界的预测。
• 解码器利用先前生成的子跨度的隐藏状态，使模型能够利用丰富的子树特征来预测更长的父跨度。
• 解析过程本身具有内在一致性，因为每个新跨度均基于有效边界构建，从而确保仅生成有效树。
• 模型通过在预测边界位置上的交叉熵损失进行端到端训练，推理时采用贪婪解码。
• 相同的架构被应用于嵌套 NER，即将命名实体视为成分树中的跨度，并通过一个覆盖整个句子的根节点将碎片统一为单棵树。

实验结果

研究问题

• RQ1 采用指针网络的自底向上解析方法是否能在成分分析中实现优于现有自顶向下方法的性能与效率？
• RQ2 所提出的边界追踪机制是否能实现在无需二叉化的情况下对非二叉树进行线性时间解析？
• RQ3 相同的模型架构是否能通过将嵌套 NER 视为成分分析的一种变体，有效处理嵌套 NER 任务？
• RQ4 通过结构化解码器利用子树特征是否能减少错误传播并提升长跨度预测性能？
• RQ5 该模型是否能在保持结构一致性的同时，在成分分析与嵌套 NER 任务上均实现具有竞争力的性能？

主要发现

• 在所有 BERT 基模型中，该模型在 Penn Treebank (PTB) 数据集上实现了最先进 F1 得分 96.01，优于先前方法。
• 该模型在 CTB7 成分分析基准上也取得了具有竞争力的表现，显示出在不同语料库上的强大泛化能力。
• 在嵌套 NER 任务上，该模型在三个标准基准（ACE2004、ACE2005 和 GENIA）上均取得了优异结果，表明其在多样化领域中的有效性。
• 该模型以线性时间解析句子，与基于表格或递归自顶向下的方法相比，显著降低了推理复杂度。
• 通过后序遍历与边界追踪，可直接建模 n 元树，无需二叉化，从而保留原始树结构。
• 与 Fu 等人（2021）的先前最先进方法相比，该模型在性能与时间复杂度上均更优，其解析复杂度为 O(n^3)，低于其 O(n^4) 方法。