[论文解读] Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning

Hidetaka Kamigaito, Katsuhiko Hayashi|arXiv (Cornell University)|Jun 21, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本文对知识图嵌入（KGE）中的负采样（NS）损失进行了理论分析，揭示了具有有界得分范围的模型（如TransE和RotatE）与无界模型（如ComplEx和DistMult）在边缘项和负样本数量的超参数调优上存在差异。作者提出了基于理论的子采样方法（Freq和Uniq），在FB15k-237、WN18RR和YAGO3-10上显著提升了KGC性能，实证结果证实了其与理论预测的一致性。

ABSTRACT

Negative sampling (NS) loss plays an important role in learning knowledge graph embedding (KGE) to handle a huge number of entities. However, the performance of KGE degrades without hyperparameters such as the margin term and number of negative samples in NS loss being appropriately selected. Currently, empirical hyperparameter tuning addresses this problem at the cost of computational time. To solve this problem, we theoretically analyzed NS loss to assist hyperparameter tuning and understand the better use of the NS loss in KGE learning. Our theoretical analysis showed that scoring methods with restricted value ranges, such as TransE and RotatE, require appropriate adjustment of the margin term or the number of negative samples different from those without restricted value ranges, such as RESCAL, ComplEx, and DistMult. We also propose subsampling methods specialized for the NS loss in KGE studied from a theoretical aspect. Our empirical analysis on the FB15k-237, WN18RR, and YAGO3-10 datasets showed that the results of actually trained models agree with our theoretical findings.

研究动机与目标

• 对知识图嵌入（KGE）中负采样（NS）损失的行为进行理论分析，特别关注边缘项和负样本归一化的作用。
• 识别具有有界得分范围的KGE模型（如TransE、RotatE）与具有无界范围的模型（如ComplEx、DistMult）在超参数敏感性方面的差异。
• 基于KGE中数据分布和损失函数行为的理论分析，设计专门针对NS损失的子采样方法。
• 通过实证方法验证理论发现，并在标准KGE基准数据集上评估所提子采样方法的有效性。

提出的方法

• 对KGE中NS损失的理论分析，聚焦于边缘项和负样本归一化的影响，其推导基于得分函数范围与损失函数结构之间的相互作用。
• 推导出在有界与无界得分函数下，边缘项和负样本数量必须分别调整的理论条件。
• 基于KGE中真实数据分布和损失函数行为的理论建模，提出两种新颖的子采样方法——Freq和Uniq。
• 使用SANS（自对抗负采样）损失实现并评估所提子采样方法，该损失在现代KGE训练中为标准配置。
• 在三个基准数据集（FB15k-237、WN18RR和YAGO3-10）上进行实证评估，使用MRR、Hits@1、Hits@3和Hits@10等标准指标。
• 基于理论洞见进行超参数调优，并与基线均匀子采样及现有方法进行性能比较。

实验结果

研究问题

• RQ1 KGE模型中得分函数的有界性如何影响负采样损失中边缘项和负样本数量的最优配置？
• RQ2 在从word2vec扩展到知识图谱时，NS损失中归一化与边缘项有效使用的理论原则是什么？
• RQ3 如何设计子采样方法以与KGE中NS损失的理论特性保持一致，特别是在自对抗负采样下？
• RQ4 理论上推导出的子采样方法（Freq和Uniq）相较于均匀或启发式基线，在真实世界数据集上的KGC性能提升程度如何？
• RQ5 在多种KGE模型和数据集上，有界与无界得分模型之间的理论区分是否在实践中成立？

主要发现

• 具有有界得分范围的模型（如TransE和RotatE）在边缘项和负样本数量的超参数调优上，与无界模型（如ComplEx和DistMult）存在显著差异。
• 理论分析证实，边缘项和负样本的归一化在KGE训练中并非中性，必须根据得分函数的范围特性进行调整。
• 所提出的子采样方法Freq和Uniq基于对数据分布的理论建模，其在所有评估的数据集和模型上均持续优于或匹配基线均匀子采样。
• 在FB15k-237、WN18RR和YAGO3-10上的实证结果表明，Freq和Uniq在MRR、Hits@1、Hits@3上均有提升，且在Hits@10上也常有改善，尤其在低样本量和稀疏设置下增益最为显著。
• 子采样方法的性能因模型和数据集而异，表明需要进行模型特定的偏差校正，且理论推导的子采样方法应辅以在开发集上的实证验证。
• 本研究证实，对NS损失行为的理论洞见可有效指导超参数选择与子采样设计，从而减少KGE训练中对昂贵的实证调优的依赖。