[论文解读] A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge

Haodi Ma, Daisy Zhe Wang|arXiv (Cornell University)|Jan 3, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

本综述全面回顾了利用结构化知识与常识知识来解决不完整知识图谱中长尾关系及新引入关系问题的少样本知识图谱补全（FKGC）方法。该综述将FKGC方法分类为基于元学习、基于注意力机制和基于语言模型的方法，强调其在整合文本语义与少样本归纳偏置方面的能力，从而提升在结构化知识图谱和自由文本知识图谱（如ConceptNet和ATOMIC）上的零样本/少样本泛化性能。

ABSTRACT

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

研究动机与目标

• 解决因缺乏足够训练三元组而难以处理长尾关系与新引入关系的不完整知识图谱挑战。
• 基于对结构化知识、常识知识及预训练语言模型的使用，对现有FKGC方法进行综述与分类。
• 分析FKGC模型在多种基准测试（包括NELL-One、Wiki-One、ConceptNet和ATOMIC）上的性能与局限性。
• 识别当前评估中的空白，并提出未来研究方向，以在FKGC中整合多模态与符号知识。
• 为研究人员在自然语言处理和知识密集型应用的下游任务中选择合适的FKGC方法提供指导。

提出的方法

• 将FKGC方法分类为基于元学习（如MetaR、MAML）、基于注意力机制（如InductiveE、FSRL）和基于生成（如OntoPrompt、BERTNet）的方法。
• 基于知识来源提出FKGC模型的分类体系：结构化知识图谱（如FB15K-237、NELL）与常识知识图谱（如ConceptNet、ATOMIC）。
• 提出使用注意力机制动态加权邻近实体与参考三元组，以匹配查询关系的语义。
• 使用少样本基准测试（如NELL-One和Wiki-One）评估模型，其中每种关系仅提供1–5个训练三元组。
• 探索利用预训练语言模型（如BERT、GPT）通过提示微调实现端到端三元组生成，从而实现零样本泛化。
• 提出可利用来自本体和规则的符号知识来指导未见实体与关系的推理，从而在已见模式之外实现更好的泛化能力。

实验结果

研究问题

• RQ1 如何使少样本知识图谱补全模型在极少监督下有效泛化到长尾关系与新引入关系？
• RQ2 基于元学习、基于注意力机制与基于语言模型的FKGC方法在性能与设计上存在哪些关键差异？
• RQ3 预训练语言模型在少样本设置下在多大程度上可替代或增强传统知识图谱嵌入方法？
• RQ4 在多种知识图谱中，结构化知识与常识知识来源在支持少样本链接预测方面如何比较？
• RQ5 未来FKGC框架中整合多模态与符号知识的最有前景方向是什么？

主要发现

• 基于元学习的模型（如MetaR和MAML）通过在训练中利用高频关系学习关系嵌入的通用初始化，实现了强大的少样本泛化能力。
• 基于注意力机制的模型（如InductiveE和FSRL）通过根据邻近实体与查询关系的相关性动态加权，提升了性能。
• 基于语言模型的方法（如BERTNet和COMET）在自由文本形式的常识知识图谱（如ConceptNet和ATOMIC）上展现出强大的零样本能力，其中实体与关系名称为自然语言短语。
• 利用文本描述与关系语义（如GANA、ZSGAN）的模型通过引入语义先验，在未见关系上表现出更优性能。
• 基于本体与规则的提示方法（如OntoPrompt）实现了符号推理，并在无需微调的情况下实现了对未见实体与关系的更好泛化能力。
• 尽管结果令人鼓舞，但当前评估仍存在局限，尚无全面的基准用于在大规模结构化知识图谱与基于语言模型的系统之间对FKGC模型进行比较。