[论文解读] Few-shot Relational Reasoning via Connection Subgraph Pretraining

Qian Huang, Hong‐Yu Ren+1 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本文提出连接子图推理器（CSR），一种少样本关系推理框架，通过建模支持三元组与查询三元组之间的共享连接子图，直接预测知识图谱中的未见关系，利用自动采样的子图进行自监督预训练。CSR在具有挑战性的归纳式少样本任务上实现了最先进性能，相对提升最高达52%，且无需元学习或精心设计的训练任务。

ABSTRACT

Few-shot knowledge graph (KG) completion task aims to perform inductive reasoning over the KG: given only a few support triplets of a new relation $\bowtie$ (e.g., (chop,$\bowtie$,kitchen), (read,$\bowtie$,library), the goal is to predict the query triplets of the same unseen relation $\bowtie$, e.g., (sleep,$\bowtie$,?). Current approaches cast the problem in a meta-learning framework, where the model needs to be first jointly trained over many training few-shot tasks, each being defined by its own relation, so that learning/prediction on the target few-shot task can be effective. However, in real-world KGs, curating many training tasks is a challenging ad hoc process. Here we propose Connection Subgraph Reasoner (CSR), which can make predictions for the target few-shot task directly without the need for pre-training on the human curated set of training tasks. The key to CSR is that we explicitly model a shared connection subgraph between support and query triplets, as inspired by the principle of eliminative induction. To adapt to specific KG, we design a corresponding self-supervised pretraining scheme with the objective of reconstructing automatically sampled connection subgraphs. Our pretrained model can then be directly applied to target few-shot tasks on without the need for training few-shot tasks. Extensive experiments on real KGs, including NELL, FB15K-237, and ConceptNet, demonstrate the effectiveness of our framework: we show that even a learning-free implementation of CSR can already perform competitively to existing methods on target few-shot tasks; with pretraining, CSR can achieve significant gains of up to 52% on the more challenging inductive few-shot tasks where the entities are also unseen during (pre)training.

研究动机与目标

• 解决新关系仅以少量支持样本出现时的知识图谱补全挑战，且涉及未见实体。
• 克服基于元学习的方法所受限制：这些方法需要人工精心设计的元训练任务，而此类任务难以构建，且常导致分布偏移。
• 开发一种方法，在无需对特定任务示例进行元训练的前提下，直接对新型少样本任务执行归纳推理。
• 通过共享连接子图建模逻辑模式，实现对未见关系和实体的鲁棒泛化。

提出的方法

• 将少样本链接预测建模为一种消除式归纳问题，其中支持三元组与查询三元组之间的共享连接子图作为未见关系的假设。
• 设计两阶段框架：假设提出阶段识别支持三元组之间的公共子图，证据提出阶段验证其在查询图中的存在性。
• 采用基于图神经网络的架构编码连接子图，并使用可微注意力机制计算证据得分。
• 引入自监督预训练目标，从背景知识图谱中重建自动采样的连接子图。
• 利用预训练实体嵌入提升子图表征学习效果，下游任务中可选微调。
• 应用可微掩码机制动态识别相关子图结构，避免对全图结构的假设。

实验结果

研究问题

• RQ1 知识图谱推理模型能否在不依赖元学习或精心设计的元训练任务的前提下，实现少样本链接预测？
• RQ2 共享连接子图能否作为推理知识图谱中未见关系的有效假设？
• RQ3 无学习的CSR实现与现有元学习基线在少样本知识图谱补全任务上的性能相比如何？
• RQ4 当测试关系和实体与训练分布不一致时，CSR在分布偏移下的泛化能力如何？
• RQ5 在连接子图重建任务上进行自监督预训练，能否提升归纳式少样本推理性能？

主要发现

• 无学习的CSR实现性能具有竞争力，在NELL数据集上MRR达0.577，优于MetaR（0.471），即使使用了预训练嵌入。
• 通过自监督预训练，CSR在归纳式少样本任务上实现最高52%的相对性能提升，且训练时未见测试实体。
• 消融实验表明，所有组件——实体嵌入、假设提出与证据提出——均至关重要，当全部移除时MRR降至0.420。
• CSR在分布偏移下表现出强鲁棒性：在包含分布外关系的新测试集上，MRR保持在0.590，而FSRL从0.578下降至0.459。
• 在具有真实子图的合成数据集上，CSR-OPT在4-团结构下分别实现0.843和0.992的IOU，用于假设与证据恢复。
• 在直接监督真实假设的前提下，CSR-GNN实现0.809和0.981的IOU，分别用于假设与证据恢复，证实模型具备准确检测子图的能力。