[论文解读] Analysis of the Impact of Negative Sampling on Link Prediction in Knowledge Graphs

Bhushan Kotnis, Vivi Năstase|arXiv (Cornell University)|Aug 22, 2017

Advanced Graph Neural Networks参考文献 28被引用 63

一句话总结

本论文通过实证研究不同负采样策略如何影响四种知识图谱嵌入模型（ComplEx、DistMult、Rescal、TransE）在 FB15k 和 WN18 上的链路预测准确性，提出两种新的采样方法，并呈现数据集依赖的效应。

ABSTRACT

Knowledge graphs are large, useful, but incomplete knowledge repositories. They encode knowledge through entities and relations which define each other through the connective structure of the graph. This has inspired methods for the joint embedding of entities and relations in continuous low-dimensional vector spaces, that can be used to induce new edges in the graph, i.e., link prediction in knowledge graphs. Learning these representations relies on contrasting positive instances with negative ones. Knowledge graphs include only positive relation instances, leaving the door open for a variety of methods for selecting negative examples. In this paper we present an empirical study on the impact of negative sampling on the learned embeddings, assessed through the task of link prediction. We use state-of-the-art knowledge graph embeddings -- escal , TransE, DistMult and ComplEX -- and evaluate on benchmark datasets -- FB15k and WN18. We compare well known methods for negative sampling and additionally propose embedding based sampling methods. We note a marked difference in the impact of these sampling methods on the two datasets, with the "traditional" corrupting positives method leading to best results on WN18, while embedding based methods benefiting the task on FB15k.

研究动机与目标

• 激励并理解负采样选择如何影响用于链路预测的KG嵌入质量。
• 在多样化的负采样框架下比较最先进的嵌入模型。
• 提出两种新的负采样策略并评估其有效性。
• 评估数据集特征（FB15k 与 WN18）如何影响方法性能。
• 为给定的知识图谱与模型提供选择负采样策略的指南。

提出的方法

• 在 PyTorch 中重新实现 Rescal、TransE、DistMult 和 ComplEx，采用共享的 max-margin 损失和单位范数约束。
• 评估多种负采样方案：Random、Corrupting positives、Typed、Relational、Nearest Neighbor、Near Miss，以及基于预训练嵌入的采样器。
• 引入两种新颖的采样方法（Nearest Neighbor 和 Near Miss），它们使用一个预训练的负采样模型来生成困难的负样本。
• 采用针对 FB15k 和 WN18 的数据集专用训练设置，包括通过网格搜索进行超参数调优和早停。
• 使用 MRR 和 Hits@K 进行评估（FB15k 的 Hits@10，WN18 的 Hits@1）。
• 将结果与使用 max-margin loss 的前期工作进行比较，并分析关系频率切片（OOM）以解释性能差异。

实验结果

研究问题

• RQ1 不同的负采样策略如何影响跨KG嵌入模型的链路预测性能？
• RQ2 数据集特征（FB15k 与 WN18）是否会改变最有效的负采样方法？
• RQ3 新提出的采样方法（Nearest Neighbor、Near Miss）在这些数据集上是否优于传统的 corrupting positives？
• RQ4 模型类型和数据稀疏性如何与负采样选择交互影响 MRR 和 Hits@K？
• RQ5 针对给定的 KG 属性和所选嵌入模型，选取负采样方法有哪些可行的指导原则？

主要发现

模型	负采样	MRR	HITS@10
DistMult	Near Miss (FB15k)	0.46	70.64
Rescal	Near Miss (FB15k)	0.42	64.34
TransE	Near Miss (FB15k)	0.37	62.97
DistMult	Corrupt (WN18)	0.82	94.06
Rescal	Corrupt (WN18)	0.92	93.91
TransE	Corrupt (WN18)	0.40	86.98

• Near Miss 采样在 FB15k 上对多种模型通常能获得较强的结果。
• 基于嵌入的采样方法（Nearest Neighbor、Near Miss）在 FB15k 上特别有效，有助于缓解数据稀疏性。
• 在 WN18 上，Corrupting positive triples 效果最好，尤其是在 Rescal 上；随机采样对某些模型（例如 TransE）也具竞争力。
• 由于其 1:1-relations 假设，TransE 受益于随机负样本，而其他模型从更难的负样本中获益。
• FB15k 的数据稀疏性（许多关系实例很少）降低了对负样本污染的效果，而 WN18 的密集内在关系更有利于基于腐蚀的负样本。
• 总体而言，最佳的负采样策略取决于数据集和模型，在 Freebase 类数据上 near-miss/nearest-neighbor 表现良好，而在 WordNet 上腐蚀方法表现出色。