[论文解读] Adaptive Margin Ranking Loss for Knowledge Graph Embeddings via a Correntropy Objective Function

Mojtaba Nayyeri, Xiaotian Zhou+3 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Graph Neural Networks参考文献 20被引用 4

一句话总结

该论文提出自适应边缘损失（Adaptive Margin Loss, AML），一种用于知识图谱嵌入模型的新损失函数，通过基于核函数的优化目标在训练过程中自动调整边缘。通过在可学习中心周围动态扩展边缘，AML 消除了对上界和下界手动调参的需求，在 FB15k 和 WN18 上显著提升了链接预测性能，Hit@10 分数分别达到 77.7% 和 95.2%。

ABSTRACT

Translation-based embedding models have gained significant attention in link prediction tasks for knowledge graphs. TransE is the primary model among translation-based embeddings and is well-known for its low complexity and high efficiency. Therefore, most of the earlier works have modified the score function of the TransE approach in order to improve the performance of link prediction tasks. Nevertheless, proven theoretically and experimentally, the performance of TransE strongly depends on the loss function. Margin Ranking Loss (MRL) has been one of the earlier loss functions which is widely used for training TransE. However, the scores of positive triples are not necessarily enforced to be sufficiently small to fulfill the translation from head to tail by using relation vector (original assumption of TransE). To tackle this problem, several loss functions have been proposed recently by adding upper bounds and lower bounds to the scores of positive and negative samples. Although highly effective, previously developed models suffer from an expansion in search space for a selection of the hyperparameters (in particular the upper and lower bounds of scores) on which the performance of the translation-based models is highly dependent. In this paper, we propose a new loss function dubbed Adaptive Margin Loss (AML) for training translation-based embedding models. The formulation of the proposed loss function enables an adaptive and automated adjustment of the margin during the learning process. Therefore, instead of obtaining two values (upper bound and lower bound), only the center of a margin needs to be determined. During learning, the margin is expanded automatically until it converges. In our experiments on a set of standard benchmark datasets including Freebase and WordNet, the effectiveness of AML is confirmed for training TransE on link prediction tasks.

研究动机与目标

• 解决基于平移的知识图谱嵌入模型对人工调参的边缘超参数的敏感性问题。
• 消除在正负三元组得分上下界设置中所需的大量超参数搜索。
• 设计一种在训练过程中能自动适应边缘的损失函数，以提升模型泛化能力和性能。
• 通过更自适应的优化过程，增强 TransE 及类似模型在链接预测任务中的鲁棒性与有效性。

提出的方法

• 提出一种基于核函数的优化目标，将边缘建模为以可学习参数为中心的概率分布。
• 引入一个松弛变量，在训练过程中动态扩展边缘，确保正样本得分足够低。
• 用单个可学习中心参数替代传统损失函数中的固定边缘上下界，从而减少超参数搜索空间。
• 采用可微分的损失函数形式，支持使用 Adam 和 Adagrad 等标准优化器进行端到端训练。
• 将该损失函数应用于 TransE，得到 TransEAML，一种在优化过程中自动调整边缘宽度的变体。
• 采用对称的边缘调整策略，对正负样本得分同时添加相同量的松弛，以保持模型鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种损失函数，在训练过程中自动适应边缘，从而减少对人工调参的依赖？
• RQ2 自适应边缘机制是否能提升基于平移的知识图谱嵌入模型在标准基准上的性能？
• RQ3 与固定边缘和有界得分损失函数相比，所提出的基于核函数的优化目标在链接预测准确率方面表现如何？
• RQ4 超参数搜索空间的减小在多大程度上提升了训练效率与模型稳定性？

主要发现

• 在 WN18 基准上，TransEAML 达到 95.2% 的 Hit@10 分数，显著优于使用边缘排序损失（MRL）的 TransE（89.2%）和有限得分损失（93.7%）。
• 在 FB15k 上，TransEAML 达到 77.7% 的 Hit@10 分数，而使用 MRL 的 TransE 仅为 47.1%，有限得分损失为 72.3%，表明性能有显著提升。
• 所提出的 AML 损失函数减少了对正负得分上下界的人工调参需求，简化了超参数选择过程。
• 基于核函数的优化目标使训练过程中边缘能自动扩展，从而实现正负三元组更优的分离。
• 实证结果证实，自适应边缘机制显著提升了模型在多个标准知识图谱基准上的泛化能力与鲁棒性。
• 该方法仅需调节边缘中心一个可学习参数，即可在极小超参数搜索下保持高性能。