[论文解读] BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer

Po‐Ting Lai, Zhiyong Lu|arXiv (Cornell University)|Jan 11, 2021

Topic Modeling参考文献 14被引用 7

一句话总结

本文提出 BERT-GT，一种新颖的架构，通过将邻近注意力机制整合到 BERT 中，以增强生物医学文本中的跨句 n 元关系抽取。通过仅关注邻近标记，该方法减少了长上下文中的噪声，在 n 元关系和化学-蛋白质关系数据集上，相比最先进方法，准确率提升 5.44%，F1 分数提升 3.89%。

ABSTRACT

A biomedical relation statement is commonly expressed in multiple sentences and consists of many concepts, including gene, disease, chemical, and mutation. To automatically extract information from biomedical literature, existing biomedical text-mining approaches typically formulate the problem as a cross-sentence n-ary relation-extraction task that detects relations among n entities across multiple sentences, and use either a graph neural network (GNN) with long short-term memory (LSTM) or an attention mechanism. Recently, Transformer has been shown to outperform LSTM on many natural language processing (NLP) tasks. In this work, we propose a novel architecture that combines Bidirectional Encoder Representations from Transformers with Graph Transformer (BERT-GT), through integrating a neighbor-attention mechanism into the BERT architecture. Unlike the original Transformer architecture, which utilizes the whole sentence(s) to calculate the attention of the current token, the neighbor-attention mechanism in our method calculates its attention utilizing only its neighbor tokens. Thus, each token can pay attention to its neighbor information with little noise. We show that this is critically important when the text is very long, as in cross-sentence or abstract-level relation-extraction tasks. Our benchmarking results show improvements of 5.44% and 3.89% in accuracy and F1-measure over the state-of-the-art on n-ary and chemical-protein relation datasets, suggesting BERT-GT is a robust approach that is applicable to other biomedical relation extraction tasks or datasets.

研究动机与目标

• 解决在生物医学文献中抽取涉及多个实体的复杂跨句 n 元关系的挑战。
• 改善在长篇多句生物医学文本中关系抽取的性能，此类文本中标准注意力机制易受噪声影响。
• 将邻近注意力机制整合到 BERT 中，以减少噪声，提升上下文建模能力。
• 开发一种可广泛应用于多种生物医学关系抽取任务的稳健框架，而不仅限于评估的数据集。
• 在跨句关系抽取任务中，超越基于 GNN 与 LSTMs 或标准注意力机制的现有模型。

提出的方法

• 将邻近注意力机制整合到 BERT 架构中，仅对邻近标记计算注意力，从而减少长序列中的噪声。
• 修改 BERT 中的自注意力机制，使每个标记仅关注其直接邻近标记，而非整个输入序列。
• 使用图变换器组件，对生物医学文本中多句之间的实体关系结构进行建模。
• 利用 BERT 的深层上下文表示，同时通过局部注意力增强其表示，以提升长上下文推理能力。
• 结合实体感知的表示学习与基于图的消息传递机制，以捕捉跨句边界的复杂 n 元关系。
• 在生物医学数据集上端到端训练模型，使用标准序列标注与关系分类目标。

实验结果

研究问题

• RQ1 一种限制注意力仅作用于邻近标记的改进注意力机制，是否能提升在长生物医学文本中的关系抽取性能？
• RQ2 BERT-GT 在跨句 n 元关系抽取任务中，与最先进模型相比表现如何？
• RQ3 邻近注意力机制是否能有效降低噪声，并提升在抽象级别或跨多句关系抽取中的性能？
• RQ4 BERT-GT 在不同类型的生物医学关系（如化学-蛋白质相互作用）上，其泛化能力如何？
• RQ5 将图变换器与 BERT 结合，是否能有效建模跨句边界的复杂多实体关系？

主要发现

• 在 n 元关系抽取数据集上，BERT-GT 相较于最先进方法，准确率绝对提升 5.44%。
• 在 n 元关系数据集上，F1 分数提升 3.89%，显著提升了关系抽取性能。
• 在化学-蛋白质关系数据集上，BERT-GT 的 F1 分数比先前最先进模型高出 3.89%。
• 邻近注意力机制有效降低了长上下文输入中的噪声，从而生成更鲁棒的注意力表示。
• BERT-GT 超越了使用 LSTMs 或标准注意力机制的模型，证实了在长文本设置中局部注意力的优势。
• 该模型展现出强大的泛化潜力，表明其可广泛应用于其他生物医学关系抽取任务与数据集。