[论文解读] Large Margin Nearest Neighbor Embedding for Knowledge Representation

Miao Fan, Qiang Zhou+2 more|arXiv (Cornell University)|Apr 7, 2015

Advanced Graph Neural Networks参考文献 17被引用 7

一句话总结

该论文提出了一种大规模边缘最近邻嵌入（LMNNE）知识表示模型，通过学习实体和关系的低维向量嵌入，使 h + r ≈ t 成立。通过同时将正样本尾实体拉近至 h + r 并将负样本实体推离 h + r 至至少一个大边缘 γ，LMNNE 在链接预测和三元组分类任务中实现了最先进性能，且参数复杂度低于先前模型。

ABSTRACT

Traditional way of storing facts in triplets ({\it head\_entity, relation, tail\_entity}), abbreviated as ({\it h, r, t}), makes the knowledge intuitively displayed and easily acquired by mankind, but hardly computed or even reasoned by AI machines. Inspired by the success in applying {\it Distributed Representations} to AI-related fields, recent studies expect to represent each entity and relation with a unique low-dimensional embedding, which is different from the symbolic and atomic framework of displaying knowledge in triplets. In this way, the knowledge computing and reasoning can be essentially facilitated by means of a simple {\it vector calculation}, i.e. ${\bf h} + {\bf r} \approx {\bf t}$. We thus contribute an effective model to learn better embeddings satisfying the formula by pulling the positive tail entities ${\bf t^{+}}$ to get together and close to {\bf h} + {\bf r} ({\it Nearest Neighbor}), and simultaneously pushing the negatives ${\bf t^{-}}$ away from the positives ${\bf t^{+}}$ via keeping a {\it Large Margin}. We also design a corresponding learning algorithm to efficiently find the optimal solution based on {\it Stochastic Gradient Descent} in iterative fashion. Quantitative experiments illustrate that our approach can achieve the state-of-the-art performance, compared with several latest methods on some benchmark datasets for two classical applications, i.e. {\it Link prediction} and {\it Triplet classification}. Moreover, we analyze the parameter complexities among all the evaluated models, and analytical results indicate that our model needs fewer computational resources on outperforming the other methods.

研究动机与目标

• 为通过学习分布式向量表示使符号知识库对人工智能系统可计算，以应对该挑战。
• 通过将事实建模为向量方程 h + r ≈ t，改进知识表示。
• 开发一种高效且有效的嵌入模型，通过联合优化接近度与边缘，捕捉关系结构。
• 在保持或提升下游任务（如链接预测和三元组分类）性能的同时，降低参数复杂度。

提出的方法

• LMNNE 优化两个目标：使用 L2 距离将正样本尾实体（t⁺）拉近至 h + r。
• 在正样本和负样本尾实体（t⁻）之间强制实施一个大边缘 γ，将 t⁻ 远离 h + r。
• 该模型基于 ||h + r - t|| 的评分函数，最小化正样本事实的距离，同时确保其超过 h + r - t⁻ 至少 γ。
• 使用迭代随机梯度下降（SGD）算法学习实体和关系的最优嵌入。
• 该方法将关系视为表示从头实体到尾实体变换的向量，使向量运算能够建模关系推理。
• 该模型设计为计算高效，参数复杂度为 O(ne*d + nr*d)，适用于大规模知识库。

实验结果

研究问题

• RQ1 知识表示模型能否有效学习分布式嵌入，使事实三元组满足 h + r ≈ t？
• RQ2 在正负尾实体之间强制实施大边缘是否能提升知识推理任务中的泛化能力和性能？
• RQ3 LMNNE 在性能和效率方面与 SOTA 模型（如 TransE、NTN 和双线性模型）相比如何？
• RQ4 LMNNE 的理论参数复杂度相对于其他嵌入模型如何？是否实现了更高的效率？

主要发现

• LMNNE 在链接预测和三元组分类任务中达到最先进性能，在基准数据集上优于 TransE 和其他近期模型。
• 在 FB15K 数据集上，LMNNE 在三元组分类中达到 86.8% 的准确率，超过 TransE（85.8%）和 NTN（66.7%）。
• 在 WN11 上，LMNNE 在三元组分类中达到 78.6% 的准确率，超过 TransE 的 77.5% 和次优方法 NTN 的 70.4%。
• 与基于深度神经网络的模型（如 NTN 和双线性模型）相比，LMNNE 参数复杂度更低，复杂度为 O(ne*d + nr*d)，从而具备更好的可扩展性。
• 在所有评估数据集（包括 FB13 和 FB15K）上，LMNNE 的性能均优于 Distance、Hadamard、Single Layer 和双线性模型。
• 分析结果确认，与使用张量运算或每关系多组权重矩阵的高阶交互模型相比，LMNNE 所需计算资源更少。