[论文解读] Soft Marginal TransE for Scholarly Knowledge Graph Completion

Mojtaba Nayyeri, Sahar Vahdati+2 more|arXiv (Cornell University)|Apr 27, 2019

Advanced Graph Neural Networks参考文献 18被引用 9

一句话总结

本文提出 TransESM，一种专为学术知识图谱补全而设计的 TransE 知识图谱嵌入模型的软边界变体。通过用可微分的软边界损失替代原始的刚性边界排序损失，该模型提升了对噪声负样本的鲁棒性，在学术知识图谱上实现了 99.9% 的 Hit@10 性能，显著优于原始 TransE（95%）及其他基线模型如 ComplEx、TransH 和 TransR。

ABSTRACT

Knowledge graphs (KGs), i.e. representation of information as a semantic graph, provide a significant test bed for many tasks including question answering, recommendation, and link prediction. Various amount of scholarly metadata have been made vailable as knowledge graphs from the diversity of data providers and agents. However, these high-quantities of data remain far from quality criteria in terms of completeness while growing at a rapid pace. Most of the attempts in completing such KGs are following traditional data digitization, harvesting and collaborative curation approaches. Whereas, advanced AI-related approaches such as embedding models - specifically designed for such tasks - are usually evaluated for standard benchmarks such as Freebase and Wordnet. The tailored nature of such datasets prevents those approaches to shed the lights on more accurate discoveries. Application of such models on domain-specific KGs takes advantage of enriched meta-data and provides accurate results where the underlying domain can enormously benefit. In this work, the TransE embedding model is reconciled for a specific link prediction task on scholarly metadata. The results show a significant shift in the accuracy and performance evaluation of the model on a dataset with scholarly metadata. The newly proposed version of TransE obtains 99.9% for link prediction task while original TransE gets 95%. In terms of accuracy and Hit@10, TransE outperforms other embedding models such as ComplEx, TransH and TransR experimented over scholarly knowledge graphs

研究动机与目标

• 通过使用知识图谱嵌入（KGE）模型提升链接预测准确性，以应对学术知识图谱（SKG）不完整的问题。
• 克服原始 TransE 中刚性边界排序机制的局限性，该机制对真实世界学术知识图谱中的假阴性样本高度敏感。
• 开发并评估一种新型损失函数——软边界，允许在训练过程中逐步放松边界约束。
• 在真实世界学术知识图谱上验证所提出 TransESM 模型在共作者推荐任务中的有效性。
• 提供一种针对领域特定、异构学术元数据更鲁棒且更准确的 KGE 方法。

提出的方法

• 提出一种改进的 TransE 损失函数，通过引入松弛变量 ξhr，用软边界替代原始的硬边界，使假阴性样本可部分进入边界区域。
• 采用带正则化和合页损失的复合目标函数重构优化问题：min ∑(λ₀ξ² + λ₁max(fr(h,t)−γ₁,0) + λ₂max(γ₂−fr(h′,t′)−ξhr,0))。
• 使用 AdaGrad 进行优化，超参数在验证集上进行调优，包括嵌入维度 d ∈ {50,100,200}，γ₁ ∈ {0.1,…,2}，γ₂ ∈ {0.2,…,2.1}，以及 λ₀ ∈ {0.01,0.1,1,10,100}。
• 从零开始重新实现 TransE 和 TransESM，避免依赖 PyKEEN，以确保对训练过程和损失计算的完全控制。
• 采用过滤后的平均排名（filtered Mean Rank）和过滤后的 Hit@10 作为评估指标，负样本通过替换测试三元组中的头实体或尾实体生成。
• 通过手动检查 9 名选定研究人员的共作者历史和研究资料，验证推荐结果的可靠性。

实验结果

研究问题

• RQ1 与标准 TransE 相比，TransE 的软边界变体是否能在不完整的学术知识图谱上提升链接预测性能？
• RQ2 所提出的软边界损失在真实世界学术知识图谱中如何缓解假阴性样本的负面影响？
• RQ3 TransESM 在学术链接预测任务中，相较于 ComplEx、TransH 和 TransR 等现有 KGE 模型，其性能提升程度如何？
• RQ4 该模型能否生成与实际研究合作模式一致的高质量共作者推荐？
• RQ5 在损失函数中使用可微分的松弛变量是否能提升领域特定知识图谱中嵌入的鲁棒性与准确性？

主要发现

• TransESM 在学术知识图谱上实现了 99.9% 的过滤后 Hit@10 性能，显著优于原始 TransE 的 95%。
• 该模型将过滤后的平均排名降低至 1.67，优于 TransE（2.17）、TransH（985.16）和 TransR（1200.35），也优于 ComplEx（56.2% 的过滤后 Hit@10）。
• 在平均排名（1.67 vs. 3.03）和 Hit@10（99.9% vs. 95.6%）两项指标上，TransESM 均优于先前的 SOTA 模型 TransE-RS。
• 在共作者推荐任务中，对 9 名研究人员的前 50 名预测中，89% 的推荐结果经验证为合理的合作模式，符合其研究背景与发表记录。
• 软边界损失有效降低了对假阴性样本的敏感性，提升了模型在噪声较多的真实世界学术数据上的鲁棒性与泛化能力。
• 超参数调优表明，λ₁=1 和 λ₂=1 时性能最优，且模型在不同嵌入维度与边界范围下均表现出稳定性。