[论文解读] Global and local evaluation of link prediction tasks with neural embeddings

Asan Agibetov, Matthias Samwald|arXiv (Cornell University)|Jul 27, 2018

Advanced Graph Neural Networks参考文献 17被引用 5

一句话总结

本文通过将链接预测建模为二分类任务，提出了一项统一的基准，用于评估知识图谱中的神经嵌入，比较了全局（为所有关系训练单一模型）与局部（为每种关系训练特定模型）训练方法。研究发现，全局训练的嵌入在F1值（约0.8）上与局部训练的嵌入表现相当，同时在保持性能的同时具备更好的可扩展性，并倡导通过开源工具实现标准化、可复现的评估。

ABSTRACT

We focus our attention on the link prediction problem for knowledge graphs, which is treated herein as a binary classification task on neural embeddings of the entities. By comparing, combining and extending different methodologies for link prediction on graph-based data coming from different domains, we formalize a unified methodology for the quality evaluation benchmark of neural embeddings for knowledge graphs. This benchmark is then used to empirically investigate the potential of training neural embeddings globally for the entire graph, as opposed to the usual way of training embeddings locally for a specific relation. This new way of testing the quality of the embeddings evaluates the performance of binary classifiers for scalable link prediction with limited data. Our evaluation pipeline is made open source, and with this we aim to draw more attention of the community towards an important issue of transparency and reproducibility of the neural embeddings evaluations.

研究动机与目标

• 为知识图谱链接预测中的神经嵌入解决缺乏标准化、透明且可复现的评估实践问题。
• 探究是否可通过仅训练一个全局模型（为整个图统一训练）实现与按关系分别训练的局部模型相当的性能。
• 正式提出一种统一的评估方法论，结合全局与局部评估策略，以实现公平且稳健的基准测试。
• 指出基于平均排名的指标在二分类设置中的局限性，并倡导采用分类器指标（如F1值和AUC）作为替代。
• 通过发布开源评估流水线，推动知识图谱嵌入研究中的可复现性。

提出的方法

• 将链接预测正式建模为二分类任务，模型根据实体嵌入预测三元组 (e_i, r_k, e_j) 是否为真或假。
• 使用单一神经网络模型为所有关系中的所有实体训练全局嵌入，而非为每种关系分别训练模型。
• 采用标准的二分类评估指标（F1值、AUC、精确率、召回率）代替平均排名或平均倒数排名进行评估。
• 通过从训练集中移除真实链接来生成负样本，并确保与测试集中的正样本无重叠，以防止数据泄露。
• 应用基于阈值的分类器（例如，得分 > 0.5）将连续得分转换为二元预测结果。
• 在WN11知识图谱上验证该方法，比较所有关系上全局与局部嵌入训练策略的表现。

实验结果

研究问题

• RQ1 与按关系分别训练的局部模型相比，全局训练的神经嵌入是否能在链接预测中实现具有竞争力的性能？
• RQ2 在评估链接预测质量时，标准的基于平均排名的指标与二分类指标（如F1值、AUC）相比如何？
• RQ3 在链接预测基准中，负样本生成与数据泄露问题有何影响？
• RQ4 在低连通性图中，全局训练方法相较于局部训练在可扩展性方面表现如何？
• RQ5 如何使知识图谱嵌入研究中的评估流水线更具透明度与可复现性？

主要发现

• 在WN11数据集上，全局训练的嵌入在所有关系上的平均F1值约为0.8，与局部训练的嵌入表现相当。
• 全局方法更具可扩展性，仅需一个神经网络模型即可覆盖所有关系，而非每种关系一个模型。
• 基于平均排名的指标可能误导二分类任务，因为即使模型性能优秀，若阈值选择不当，也可能在实际部署中表现不佳。
• 负样本生成必须考虑潜在的测试正样本，以避免信息泄露并确保分类器的鲁棒性。
• 当实体连通性较低时，全局训练方法的鲁棒性较差，可能无法有效嵌入入度或出度有限的实体。
• 作者发布了开源评估流水线，以促进知识图谱嵌入基准测试中的透明度、可复现性与标准化。