[论文解读] Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings

Despina Christou, Grigorios Tsoumakas|arXiv (Cornell University)|Feb 1, 2021

Topic Modeling参考文献 27被引用 4

一句话总结

REDSandT 是一种基于 BERT 的关系抽取模型，通过聚焦于连接实体对及其类型的子树结构化输入，学习有信息量的实例和标签嵌入，从而改进弱监督关系抽取。通过在该 RE 特定输入上微调 BERT，并使用关系嵌入作为对实例的注意力机制，其在 NYT-10 数据集上实现了 0.424 的 SOTA AUC，优于先前方法，在更高置信度下检测长尾关系方面表现更优。

ABSTRACT

Distantly-supervised relation extraction (RE) is an effective method to scale RE to large corpora but suffers from noisy labels. Existing approaches try to alleviate noise through multi-instance learning and by providing additional information, but manage to recognize mainly the top frequent relations, neglecting those in the long-tail. We propose REDSandT (Relation Extraction with Distant Supervision and Transformers), a novel distantly-supervised transformer-based RE method, that manages to capture a wider set of relations through highly informative instance and label embeddings for RE, by exploiting BERT's pre-trained model, and the relationship between labels and entities, respectively. We guide REDSandT to focus solely on relational tokens by fine-tuning BERT on a structured input, including the sub-tree connecting an entity pair and the entities' types. Using the extracted informative vectors, we shape label embeddings, which we also use as attention mechanism over instances to further reduce noise. Finally, we represent sentences by concatenating relation and instance embeddings. Experiments in the NYT-10 dataset show that REDSandT captures a broader set of relations with higher confidence, achieving state-of-the-art AUC (0.424).

研究动机与目标

• 为解决弱监督关系抽取（DS-RE）中噪声标签的问题，特别是针对低频、长尾关系的挑战。
• 通过采用结构化、RE 特定的输入格式，利用 BERT 的预训练知识提升模型性能。
• 通过子树解析（STP）和实体类型信息聚焦关系性标记，减少噪声并增强表征学习。
• 开发一种轻量但高效的方法，在保持低计算复杂度的同时超越现有 SOTA 模型。

提出的方法

• 在包含连接实体对的最短依存子树（STP）及其实体类型的结构化输入上微调 BERT，以生成有信息量的实例嵌入。
• 利用 BERT 编码后的向量，通过 TransE 模型生成标签嵌入，将关系表示为实体嵌入之间的向量差。
• 将学习到的标签嵌入作为关系特定的注意力机制，作用于句子表征，以抑制信息量较低的标记。
• 将关系嵌入与加权实例嵌入拼接，形成用于袋级别分类的最终句子表征。
• 通过在袋内所有句子的预测结果上使用加权和，实现袋级别的关系分类。
• 通过最小化架构改动，以最少的修改适配 BERT，保留其双向上下文理解能力。

实验结果

研究问题

• RQ1 基于 BERT 的模型在结构化、RE 特定输入上微调后，是否能提升弱监督设置下的关系抽取性能？
• RQ2 从 BERT 编码向量中衍生出的标签嵌入，如何影响长尾关系的检测？
• RQ3 通过子树解析（STP）聚焦关系性标记，在多大程度上能减少噪声并提升模型效率？
• RQ4 标签嵌入能否作为对实例的有效注意力机制，以增强表征学习？
• RQ5 所提出的方法是否在标准基准（如 NYT-10）上实现 SOTA 性能，特别是在 AUC 和 top-k 召回率下的精确率？

主要发现

• REDSandT 在 NYT-10 数据集上实现了 0.424 的 SOTA AUC，分别较 Vashishth 等人（2018）和 Alt 等人（2019）高出 1.0 和 0.2 个百分点。
• 与 Alt 等人（2019）相比，REDSandT 在 top-100、200 和 300 预测中的精确率提升了 7–10%，表明在高召回率下表现更优。
• 由于能够学习有信息量的标签和实例嵌入，REDSandT 有效检测到以往模型常遗漏的长尾关系。
• STP 编码保留了句法语法信息，使模型能聚焦于关系内容，以极低的计算开销提升表征质量。
• 从 BERT 向量空间中衍生出的标签嵌入并用作注意力机制，显著降低了句子中噪声非关系性标记的影响。
• 在包含实体类型和 STP 的结构化输入上微调 BERT，可生成更鲁棒、更具信息量的句子表征，从而提升整体分类性能。