[论文解读] Two are Better than One: Joint Entity and Relation Extraction with Table-Sequence Encoders

Jue Wang, Wei Lu|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 55被引用 11

一句话总结

本文提出了一种新颖的表格-序列编码器架构，通过采用两种不同的编码器——用于命名实体识别（NER）的序列编码器和用于关系抽取（RE）的表格编码器——实现命名实体识别与关系抽取的联合建模。该架构设计为可交互，以学习任务特定的表示。该方法利用BERT的注意力权重来增强表格表示学习，在四个基准数据集上实现了最先进（SOTA）的性能，优于现有的联合模型。

ABSTRACT

Named entity recognition and relation extraction are two important fundamental problems. Joint learning algorithms have been proposed to solve both tasks simultaneously, and many of them cast the joint task as a table-filling problem. However, they typically focused on learning a single encoder (usually learning representation in the form of a table) to capture information required for both tasks within the same space. We argue that it can be beneficial to design two distinct encoders to capture such two different types of information in the learning process. In this work, we propose the novel {\em table-sequence encoders} where two different encoders -- a table encoder and a sequence encoder are designed to help each other in the representation learning process. Our experiments confirm the advantages of having {\em two} encoders over {\em one} encoder. On several standard datasets, our model shows significant improvements over existing approaches.

研究动机与目标

• 通过为每个任务解耦表示学习，缓解联合NER与RE中的误差传播与特征混淆问题。
• 利用二维表格表示中在转换为序列时丢失的结构信息。
• 通过利用BERT的词对交互知识（通过注意力权重）来增强表格表示学习，从而提升性能。
• 设计序列编码器与表格编码器之间的交互机制，实现表示的相互增强。
• 证明双编码器架构在联合NER与RE任务中优于单编码器方法。

提出的方法

• 提出双编码器架构，其中序列编码器用于NER，表格编码器用于RE，实现任务特定的表示学习。
• 使用多维循环神经网络（MD-RNNs）建模二维表格结构，捕捉行、列和层之间的交互。
• 引入表格引导注意力机制，利用BERT的自注意力权重，将词对交互知识融入表格表示。
• 在编码层之间引入跳跃连接，以稳定训练过程，并实现表示的渐进式优化。
• 设计交叉编码器交互模块，使序列编码器与表格编码器能够关注彼此的隐藏状态，以增强特征学习。
• 在堆叠的编码器之上使用线性预测层生成最终预测，并通过探测中间状态提升可解释性。

实验结果

研究问题

• RQ1 使用独立编码器分别学习NER与RE表示，是否能相比单共享编码器提升性能？
• RQ2 在联合NER与RE任务中，二维表格表示中的结构信息能被多大程度地有效利用？
• RQ3 BERT的注意力权重在多大程度上可被用于增强联合抽取任务中的表格表示学习？
• RQ4 序列编码器与表格编码器之间的交互是否能更好地建模复杂的实体与关系模式？
• RQ5 RNN的方向性与维度等架构选择如何影响基于MD-RNN的表格编码器性能？

主要发现

• 所提模型在四个标准数据集上均达到最先进F1分数：ACE04（NER: 89.4，RE: 70.2）、ACE05（NER: 89.3，RE: 67.4）、CoNLL04（NER: 89.3，RE: 66.7）和ADE（NER: 89.3，RE: 67.4）。
• 从MD-RNNs中移除任意维度（层、行或列）均导致性能下降，证实了多维建模的重要性。
• 双向RNN优于单向RNN，四向RNN（所有维度均为双向）取得最佳结果。
• 表格引导注意力机制学习到的模式（如实体跨度与关系路径）比标准ALBERT注意力头更具任务相关性。
• 中间状态的可视化显示，预测结果在各层之间逐步改善，表明通过深度堆叠与跳跃连接实现了有效的表示优化。
• 该模型优于先前使用单编码器的联合模型，证明了解耦但交互的表示学习具有显著优势。