[论文解读] Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks

Ningyu Zhang, Shumin Deng+5 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Graph Neural Networks参考文献 42被引用 7

一句话总结

本文提出一种基于知识图嵌入与图卷积网络的方法，通过将数据丰富的头部关系的语义知识迁移至数据稀少的尾部关系，以提升长尾关系抽取的性能。通过整合粗粒度到细粒度的知识感知注意力机制，该模型在NYT数据集上的长尾关系抽取任务中表现显著提升，尤其在低资源设置下优于基线模型。

ABSTRACT

We propose a distance supervised relation extraction approach for long-tailed, imbalanced data which is prevalent in real-world settings. Here, the challenge is to learn accurate "few-shot" models for classes existing at the tail of the class distribution, for which little data is available. Inspired by the rich semantic correlations between classes at the long tail and those at the head, we take advantage of the knowledge from data-rich classes at the head of the distribution to boost the performance of the data-poor classes at the tail. First, we propose to leverage implicit relational knowledge among class labels from knowledge graph embeddings and learn explicit relational knowledge using graph convolution networks. Second, we integrate that relational knowledge into relation extraction model by coarse-to-fine knowledge-aware attention mechanism. We demonstrate our results for a large-scale benchmark dataset which show that our approach significantly outperforms other baselines, especially for long-tail relations.

研究动机与目标

• 解决因训练数据不足导致的长尾关系抽取性能低下问题。
• 利用头部（数据丰富）与尾部（数据稀少）关系之间的语义相关性，提升少样本学习性能。
• 提出一种有效学习并整合关系类别间隐式与显式关系知识的方法。
• 设计一种粗粒度到细粒度的知识感知注意力机制，通过关系上下文增强句子表示。
• 通过层次化知识迁移提升模型泛化能力，降低预测罕见关系时的不确定性。

提出的方法

• 利用知识图嵌入在潜在空间中学习语义相似关系类别之间的隐式关系知识。
• 应用图卷积网络（GCNs）通过捕捉关系层级中的结构依赖关系，学习显式关系知识。
• 通过一种粗粒度到细粒度的知识感知注意力机制，将关系知识整合到关系抽取模型中，利用层次化关系信号引导句子注意力。
• 使用卷积神经网络（CNNs）编码输入句子，获得上下文相关的句子表示。
• 将句子级表示与关系知识结合，形成用于关系分类的增强型袋级表示。
• 在NYT数据集上使用远程监督进行端到端训练，重点关注长尾关系的性能表现。

实验结果

研究问题

• RQ1 知识图中隐式与显式的关系知识是否能提升长尾关系的少样本学习性能？
• RQ2 粗粒度到细粒度的知识感知注意力机制在引导注意力聚焦于罕见关系的相关句子方面有多有效？
• RQ3 从语义相似的头部关系迁移知识是否能提升数据稀少的尾部关系的性能？
• RQ4 KG嵌入与GCN在学习关系类别间关系结构方面表现如何比较？
• RQ5 关系知识的整合在多大程度上降低了对未知或罕见关系预测的不确定性？

主要发现

• 所提模型显著优于基线模型，尤其在长尾关系上表现突出，验证了知识迁移的有效性。
• 粗粒度到细粒度的知识感知注意力机制提升了注意力对齐效果，KATT在选择罕见关系相关句子方面优于HATT。
• 移除GCN后性能出现显著下降，证实其在学习关系类别间显式结构知识中的关键作用。
• 实验表明，仅使用KG嵌入或词嵌入均导致性能降低，凸显隐式与显式知识协同的必要性。
• t-SNE可视化结果表明，GCN与KG嵌入使语义相似的关系类别在嵌入空间中更接近，有助于长尾泛化。
• 即使对于仅有4个训练样本的关系（如/location/br_state/capital），模型仍保持强劲性能，展现出在低资源设置下的鲁棒性。