[论文解读] Few-Shot Knowledge Graph Completion

Chuxu Zhang, Huaxiu Yao+4 more|arXiv (Cornell University)|Nov 26, 2019

Topic Modeling参考文献 30被引用 6

一句话总结

该论文提出FSRL，一种用于知识图谱补全的少样本关系学习模型，通过利用关系感知的异构邻居编码器、用于参考集聚合的循环自编码器，以及用于在仅有少量标注样本的情况下推断缺失事实的匹配网络。实验表明，FSRL在两个公开数据集上显著优于当前最先进基线模型，在Hits@1、Hits@5、Hits@10和MRR指标上均达到最先进性能。

ABSTRACT

Knowledge graphs (KGs) serve as useful resources for various natural language processing applications. Previous KG completion approaches require a large number of training instances (i.e., head-tail entity pairs) for every relation. The real case is that for most of the relations, very few entity pairs are available. Existing work of one-shot learning limits method generalizability for few-shot scenarios and does not fully use the supervisory information; however, few-shot KG completion has not been well studied yet. In this work, we propose a novel few-shot relation learning model (FSRL) that aims at discovering facts of new relations with few-shot references. FSRL can effectively capture knowledge from heterogeneous graph structure, aggregate representations of few-shot references, and match similar entity pairs of reference set for every relation. Extensive experiments on two public datasets demonstrate that FSRL outperforms the state-of-the-art.

研究动机与目标

• 解决在每种关系下仅有少量标注实体对可用时的知识图谱补全挑战，这是现实世界中的常见场景。
• 克服现有单样本和少样本方法在建模异构邻居影响或少样本参考之间的交互方面存在的局限性。
• 设计一个统一框架，联合优化实体表征、参考集聚合与新关系的匹配过程。
• 仅使用少量参考样本即可实现对未见关系的零样本微调推理。
• 提升低资源关系学习设置下的泛化能力与鲁棒性。

提出的方法

• 提出一种关系感知的异构邻居编码器，利用注意力机制根据关系类型和结构相关性对邻居进行加权，捕捉来自不同邻居的多样化影响。
• 引入一种循环自编码器聚合网络，用于建模少样本参考实体对之间的交互，生成统一且富有表现力的参考嵌入。
• 采用基于LSTM的相似度函数的匹配网络，将查询实体对与聚合后的参考嵌入进行比较，以实现关系预测。
• 使用元训练与梯度下降联合优化所有组件，实现端到端训练，使模型能够无需微调即可快速适应新关系。
• 利用注意力机制动态分配不同邻居和参考对的重要性，提升表征质量。
• 通过统一损失函数联合训练邻居编码器、聚合网络与匹配网络，实现端到端优化。

实验结果

研究问题

• RQ1 当每种关系下仅有少量标注实体对可用时，少样本关系学习模型能否有效完成知识图谱补全？
• RQ2 在低资源设置下，建模异构邻居影响在多大程度上能改善实体表征？
• RQ3 少样本参考之间的交互在多大程度上能提升参考集嵌入的质量？
• RQ4 基于LSTM的匹配网络是否在少样本知识图谱补全任务中优于简单的点积匹配？
• RQ5 该模型在不同少样本规模（K）下是否表现出稳定性和泛化能力？

主要发现

• FSRL在两个公开数据集上均达到最先进性能，在NELL数据集上Hits@1达到0.345，在Wikidata数据集上达到0.211，显著优于GMatching及其他基线模型。
• 消融实验表明，移除关系感知的异构邻居编码器会使Hits@1下降13.4个百分点，证明其在表征学习中的关键作用。
• 与平均池化相比，循环自编码器聚合网络在Hits@1上提升12.5%，证明建模参考交互的价值。
• 移除基于LSTM的匹配网络会使Hits@1下降12.9个百分点，证实其在捕捉复杂相关性方面优于内积匹配。
• 随着少样本规模K的增加，FSRL在性能上始终优于GMatching，展现出良好的鲁棒性与可扩展性。
• 可视化结果表明，FSRL生成的正样本与负样本候选对嵌入分离效果优于GMatching，表明其具备更优的判别能力。