[论文解读] Entity Concept-enhanced Few-shot Relation Extraction

Shan Yang, Yongfei Zhang+3 more|arXiv (Cornell University)|Jun 4, 2021

Topic Modeling参考文献 18被引用 4

一句话总结

本文提出 ConceptFERE，一种新颖的少样本关系抽取框架，通过将实体概念整合到注意力与融合机制中，提升关系分类性能。通过基于语义相似度为每个实体选择最相关的概念，并利用自注意力机制在词粒度上融合句子与概念表征，ConceptFERE 在 FewRel 数据集上实现最先进性能，在 5 类 1 样本设置下相比先前方法最高提升 4.45%。

ABSTRACT

Few-shot relation extraction (FSRE) is of great importance in long-tail distribution problem, especially in special domain with low-resource data. Most existing FSRE algorithms fail to accurately classify the relations merely based on the information of the sentences together with the recognized entity pairs, due to limited samples and lack of knowledge. To address this problem, in this paper, we proposed a novel entity CONCEPT-enhanced FEw-shot Relation Extraction scheme (ConceptFERE), which introduces the inherent concepts of entities to provide clues for relation prediction and boost the relations classification performance. Firstly, a concept-sentence attention module is developed to select the most appropriate concept from multiple concepts of each entity by calculating the semantic similarity between sentences and concepts. Secondly, a self-attention based fusion module is presented to bridge the gap of concept embedding and sentence embedding from different semantic spaces. Extensive experiments on the FSRE benchmark dataset FewRel have demonstrated the effectiveness and the superiority of the proposed ConceptFERE scheme as compared to the state-of-the-art baselines. Code is available at https://github.com/LittleGuoKe/ConceptFERE.

研究动机与目标

• 解决在标注数据稀缺的特定领域中低资源、长尾关系抽取的挑战。
• 克服现有少样本关系抽取模型仅依赖句子与实体对信息而缺乏外部知识的局限性。
• 通过引入简洁、高层次的实体概念作为外部知识，提升关系分类性能。
• 设计一种机制，基于与句子的语义相关性，从每个实体的多个候选概念中选择最相关的一个。
• 通过基于词粒度的注意力融合机制，弥合句子嵌入与概念嵌入之间的语义鸿沟。

提出的方法

• 概念-句子注意力模块计算输入句子与每个实体的多个候选概念之间的语义相似度，以选择最相关概念。
• 基于自注意力的融合模块在词粒度上实现句子与选定概念表征的语义整合。
• 该框架基于 BERT-PAIR 构建，利用其度量学习架构实现少样本分类。
• 概念嵌入预先训练并来源于 ConceptNet 和 Concept Graph，提供抽象且可泛化的知识。
• 模型将句子与选定概念的拼接作为输入，送入基于 BERT 的编码器，实现端到端训练。
• 消融实验验证了概念选择与融合模块对最优性能的必要性。

实验结果

研究问题

• RQ1 除了原始句子与实体对信息外，实体概念能否为少样本关系分类提供有意义且具有判别力的信号？
• RQ2 如何从与单个实体关联的多个、可能冲突的概念中筛选出最相关的概念，以支持特定的关系预测任务？
• RQ3 在低资源少样本场景下，句子与概念表征的词粒度融合是否能提升泛化能力？
• RQ4 在少样本关系抽取中，与使用 Wikidata 等知识库中的长文本描述相比，简洁概念的集成效果如何？
• RQ5 与仅使用纯文本或实体描述的最先进模型相比，基于概念的增强在多大程度上提升了性能？

主要发现

• ConceptFERE 在 FewRel 基准上实现 5 类 1 样本准确率为 89.21%，相比之前最先进方法 TD-Proto 提升 4.45 个百分点。
• 在 5 类 1 样本设置下，相比不使用外部知识的最强基线 BERT-PAIR，性能提升 6.64 个百分点。
• 消融实验确认，概念-句子注意力模块与融合模块均不可或缺，移除任一模块均导致性能下降超过 6 个百分点。
• 简化版 ConceptFERE（省略注意力与融合模块）仍优于 BERT-PAIR，表明仅整合概念本身即具显著价值。
• 性能提升在各类设置中保持一致，表明基于概念的知识能有效增强低样本场景下的泛化能力。
• 结果表明，与长文本描述相比，概念级知识在少样本关系抽取中更具有效性与鲁棒性。