[论文解读] From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction

Han Xiao, Minlie Huang+1 more|arXiv (Cornell University)|Dec 15, 2015

Advanced Graph Neural Networks参考文献 22被引用 109

一句话总结

该论文提出 ManifoldE，一种知识图谱嵌入方法，通过用流形建模替代点对点的平移建模，解决了现有方法中存在的病态代数系统和过度受限的几何形式问题。通过将关系建模为流形（如球面或超平面），ManifoldE 在 WN11 和 FB13 上实现了显著提升的精确链接预测性能，复杂关系上的准确率提升最高达 99.5%。

ABSTRACT

Knowledge graph embedding aims at offering a numerical knowledge representation paradigm by transforming the entities and relations into continuous vector space. However, existing methods could not characterize the knowledge graph in a fine degree to make a precise prediction. There are two reasons: being an ill-posed algebraic system and applying an overstrict geometric form. As precise prediction is critical, we propose an manifold-based embedding principle (\ extbf{ManifoldE}) which could be treated as a well-posed algebraic system that expands the position of golden triples from one point in current models to a manifold in ours. Extensive experiments show that the proposed models achieve substantial improvements against the state-of-the-art baselines especially for the precise prediction task, and yet maintain high efficiency.

研究动机与目标

• 解决现有知识图谱嵌入方法在精确链接预测方面的局限性。
• 解决基于平移模型中因方程过度约束而引起的病态代数系统问题。
• 克服将正确三元组视为单一点的过度受限几何形式，降低判别能力。
• 提升在复杂和模糊关系（如多对多或 N-1 关系）上的性能。
• 开发一个良态、稳定且高效的嵌入框架，以增强知识补全和推理的精确性。

提出的方法

• 提出一种基于流形的嵌入原则，其中关系特定函数将头实体和尾实体映射到一个流形，取代 TransE 中的点对点平移。
• 将黄金三元组建模为位于一个流形（如球面或超平面）上，目标函数衡量三元组到流形的平方距离。
• 使用可微分损失函数，最小化预测三元组与流形之间的距离，并引入基于边距的正则化。
• 采用两种变体：ManifoldE（Sphere）使用球面流形，ManifoldE（Hyperplane）使用超平面流形，两者均结合基于核的相似度函数。
• 采用伯努利分布进行负采样，并使用学习率和边距超参数的随机梯度下降进行优化。
• 通过确保自由参数数量（d*(E+R)）相对于事实数量（T）足够充分，实现近似良态代数系统，满足 d ≥ T/(E+R)。

实验结果

研究问题

• RQ1 将知识三元组建模为位于流形上而非单一点，是否能提升知识图谱中的精确链接预测？
• RQ2 用近似良态系统替代基于平移模型的病态代数系统，是否能增强嵌入的稳定性和精确性？
• RQ3 与基于点的模型相比，基于流形的建模在复杂关系（如 'Type Of' 或 'Gender'）上的表现如何？
• RQ4 所提出的方法是否能在保持高效率的同时，在标准基准上实现更优的准确率？
• RQ5 几何灵活性（如球面与超平面）对判别性能有何影响？

主要发现

• ManifoldE（Sphere）在 WN11 和 FB13 上实现了 87.4% 的平均准确率，优于所有最先进基线模型。
• 在 WN11 的复杂关系 'Type Of' 上，ManifoldE（Sphere）将准确率从 TransE 的 71.4% 提升至 86.3%。
• 在 FB13 的极端 N-1 关系 'Gender' 上，ManifoldE（Sphere）实现了 99.5% 的准确率，而 TransE 为 95.1%。
• 可视化结果表明，ManifoldE 减少了黄金点周围的噪声，真实三元组与错误三元组的分离效果优于 TransE。
• 错误分析显示，63% 的高排名错误源于相关但错误的概念，表明未来可通过引入更复杂的流形进一步提升判别能力。
• 该方法保持了高效率和可扩展性，训练和推理时间与现有模型相当。