[论文解读] Meta Reasoning over Knowledge Graphs

Hong Wang, Wenhan Xiong+4 more|arXiv (Cornell University)|Aug 13, 2019

Advanced Graph Neural Networks参考文献 30被引用 8

一句话总结

该论文提出了一种用于少样本知识图谱推理的元学习框架，通过元编码器从局部图邻居和推理路径中生成任务特定的初始参数。通过利用任务特定的元信息，该模型在初始性能上显著提升，并在FB15K-237和NELL数据集上优于MAML及其他基线模型。

ABSTRACT

The ability to reason over learned knowledge is an innate ability for humans and humans can easily master new reasoning rules with only a few demonstrations. While most existing studies on knowledge graph (KG) reasoning assume enough training examples, we study the challenging and practical problem of few-shot knowledge graph reasoning under the paradigm of meta-learning. We propose a new meta learning framework that effectively utilizes the task-specific meta information such as local graph neighbors and reasoning paths in KGs. Specifically, we design a meta-encoder that encodes the meta information into task-specific initialization parameters for different tasks. This allows our reasoning module to have diverse starting points when learning to reason over different relations, which is expected to better fit the target task. On two few-shot knowledge base completion benchmarks, we show that the augmented task-specific meta-encoder yields much better initial point than MAML and outperforms several few-shot learning baselines.

研究动机与目标

• 解决新关系训练样本有限的少样本知识图谱补全挑战。
• 通过元学习机制，利用极少监督快速适应新关系。
• 通过在模型初始化阶段引入任务特定信息，而非使用单一通用初始化，改进MAML方法。
• 通过生成多跳推理链实现可解释性推理，提升模型可解释性。
• 设计专用编码器——邻居编码器和路径编码器，以有效利用知识图谱中的结构信息。

提出的方法

• 引入元编码器，将任务特定信息（如局部图邻居和推理路径）编码为任务相关的模型初始化参数。
• 使用邻居编码器计算起点和终点实体嵌入的差异作为任务表征，捕捉局部结构上下文。
• 提出路径编码器，用于表示从起点到终点实体的推理路径，支持多跳关系建模。
• 采用元学习进行训练，元优化器通过最小化多个少样本任务上的元损失来更新初始参数。
• 在少样本学习设置下应用模型：每种关系支持1–50个样本，微调后在元测试任务上进行评估。
• 以MAML作为基线，但通过引入任务特定的元编码增强其泛化能力和初始性能。

实验结果

研究问题

• RQ1 任务特定的元信息（如局部邻居和推理路径）是否能提升少样本知识图谱推理性能？
• RQ2 基于任务身份生成多样化初始模型参数的元编码器，是否比单一通用初始化带来更好的适应能力？
• RQ3 邻居编码器和路径编码器在生成少样本推理任务有意义表征方面有多有效？
• RQ4 所提方法是否能在未见关系上实现优于MAML及其他基线的初始性能（微调前）？
• RQ5 模型性能如何随不同少样本规模变化？该方法在数据稀缺情况下是否具备鲁棒性？

主要发现

• 在FB15K-237上，邻居编码器表现最佳，使用50-shot支持时Hits@1达到0.049，MRR达到0.069。
• 在NELL上，路径编码器表现最佳，优于所有基线模型，包括MAML和MAML-Mask。
• 采用元编码器的模型在微调前的初始性能显著优于随机初始化和MAML基线。
• 在FB15K-237上，邻居编码器仅使用1个样本时，Hits@1即达0.047，远超随机初始化的0.008。
• 路径编码器持续优于基线模型，且当少样本规模超过5个样本后，性能随样本数量增加而提升。
• 消融实验表明，即使仅有一个支持样本，通过邻居编码器进行任务特定初始化，性能也优于随机初始化。