[论文解读] Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao+1 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 70被引用 4

一句话总结

本文提出 NSCaching，一种用于知识图嵌入的新型负采样方法，通过动态维护高梯度负三元组缓存，提升训练效率与性能。通过使用自动化机器学习（AutoML）在缓存管理中平衡探索与利用，NSCaching 在不增加模型复杂度的前提下，在多个模型与基准测试中均取得最先进结果。

ABSTRACT

Negative sampling, which samples negative triplets from non-observed ones in knowledge graph (KG), is an essential step in KG embedding. Recently, generative adversarial network (GAN), has been introduced in negative sampling. By sampling negative triplets with large gradients, these methods avoid the problem of vanishing gradient and thus obtain better performance. However, they make the original model more complex and harder to train. In this paper, motivated by the observation that negative triplets with large gradients are important but rare, we propose to directly keep track of them with the cache. In this way, our method acts as a "distilled" version of previous GAN-based methods, which does not waste training time on additional parameters to fit the full distribution of negative triplets. However, how to sample from and update the cache are two critical questions. We propose to solve these issues by automated machine learning techniques. The automated version also covers GAN-based methods as special cases. Theoretical explanation of NSCaching is also provided, justifying the superior over fixed sampling scheme. Besides, we further extend NSCaching with skip-gram model for graph embedding. Finally, extensive experiments show that our method can gain significant improvements on various KG embedding models and the skip-gram model, and outperforms the state-of-the-art negative sampling methods.

研究动机与目标

• 解决因负采样策略不佳而导致的知识图嵌入中的梯度消失问题。
• 克服固定采样方案（如均匀采样或伯努利采样）无法适应负三元组动态分布的局限性。
• 开发一种轻量级、可扩展的替代方案，以替代复杂的 GAN 基负采样方法，避免训练额外生成器。
• 集成自动化机器学习（AutoML），以动态平衡缓存采样与更新中的探索与利用。
• 将该方法扩展至跳跃-gram模型，用于图表示学习，提升在多样化下游任务中的泛化能力。

提出的方法

• 维护一个包含大梯度负三元组的动态缓存，这些三元组对模型优化最具信息量。
• 采用基于 Bregman 散度的优化框架，确保训练过程中的收敛性与稳定性。
• 应用自动化机器学习（AutoML）以调优选择与更新缓存条目时的探索-利用权衡。
• 将采样过程建模为带有自适应采样概率的随机优化问题，采样概率基于梯度大小确定。
• 将 NSCaching 集成至多种评分函数（如 TransE、RotatE）中，并扩展至跳跃-gram模型以实现节点表示学习。
• 理论分析表明，该方法在凸与非凸设置下均具有收敛性，从而证明其相对于固定采样方案的有效性。

实验结果

研究问题

• RQ1 如何在不增加模型复杂度的前提下，使知识图嵌入中的负采样更加高效？
• RQ2 基于缓存的方法能否在不训练生成器的前提下，超越 GAN 基负采样方法？
• RQ3 在缓存中探索新负样本与利用高梯度样本之间，最优的平衡点是什么？
• RQ4 NSCaching 在不同评分函数与下游任务中的泛化能力如何？
• RQ5 NSCaching 能否有效扩展至跳跃-gram模型，以支持图表示学习？

主要发现

• NSCaching 在多个基准知识图数据集上达到最先进性能，优于固定采样与 GAN 基负采样方法。
• 该方法显著提升了链接预测与节点分类的准确率，Macro-F1 分数始终高于基线方法（如 Node2vec 与 SeedNE）。
• 在节点分类任务中，基于 NSCaching 的跳跃-gram 模型在 30%、50% 与 70% 标注节点划分下，F1 分数均优于基于频率的方法。
• 由 AutoML 驱动的探索与利用平衡，带来了更稳定、更有效的采样策略，降低了偏差与梯度消失现象。
• 理论分析证实了 NSCaching 的收敛性与有效性，并形式化证明了其相对于固定采样方案的优越性。
• 大量消融实验表明，缓存高梯度样本可实现更快收敛与更好泛化效果，优于均匀采样或伯努利采样。