[论文解读] Interpreting Knowledge Graph Relation Representation from Word Embeddings

Carl Allen, Ivana Balažević+1 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 27被引用 7

一句话总结

本文通过将基于PMI的词嵌入理论洞察扩展至知识图谱嵌入，推导出知识图谱嵌入的几何关系条件，根据语义结构将关系分类为三种类型（R、S、C）。研究发现，主流知识图谱模型的性能与表征特性与这些条件高度一致，揭示了词嵌入与知识图谱嵌入之间共享的潜在结构。

ABSTRACT

Many models learn representations of knowledge graph data by exploiting its low-rank latent structure, encoding known relations between entities and enabling unknown facts to be inferred. To predict whether a relation holds between entities, embeddings are typically compared in the latent space following a relation-specific mapping. Whilst their predictive performance has steadily improved, how such models capture the underlying latent structure of semantic information remains unexplained. Building on recent theoretical understanding of word embeddings, we categorise knowledge graph relations into three types and for each derive explicit requirements of their representations. We show that empirical properties of relation representations and the relative performance of leading knowledge graph representation methods are justified by our analysis.

研究动机与目标

• 理解尽管链接预测技术不断进步，但知识图谱关系表征背后潜在语义结构仍缺乏充分解释的深层机制。
• 通过识别其学习关系中共同的几何原则，将基于PMI的词嵌入（如Word2Vec）的洞察延伸至知识图谱表征。
• 基于语义关系类型，推导出关于关系表征如何将主体实体嵌入映射至客体实体嵌入的明确、理论基础坚实的条件。
• 评估最先进知识图谱模型的性能与特性是否与所推导的关系条件一致。
• 通过将架构选择与语义关系类型及几何约束关联，为未来知识图谱模型的设计提供统一框架。

提出的方法

• 通过将基于PMI的词嵌入理论分析扩展至知识图谱关系，推导出几何关系条件，识别出三种不同类型：R（相关性）、S（对称性）和C（非对称性）。
• 以PMI矩阵分解的线性几何特性（先前研究表明其编码了相似性、同义性与类比关系）为基础，定义特定于关系的映射方式。
• 将所推导的条件应用于分析主流链接预测模型（如TransE、DistMult、TuckER、MuRE）的架构组件，重点关注其得分函数与参数化方式如何满足理论条件。
• 使用排名指标（如MRR、Hits@10）和分类准确率评估模型性能，并与关系条件满足程度的预测结果进行对比。
• 分析TuckER和MuRE等模型的实证特性，如关系矩阵对称性、向量范数与特征值大小，以验证理论预测。
• 使用WN18RR数据集进行实证验证，测量不同关系类型下的对称性分数、向量范数与特征值分布。

实验结果

研究问题

• RQ1 如何将基于PMI的词嵌入几何结构扩展，以定义知识图谱关系表征的形式化条件？
• RQ2 所推导的几何条件识别出的三种关系类型（R、S、C）分别是什么？它们在语义与结构特性上如何不同？
• RQ3 主流知识图谱模型（如TransE、TuckER）的架构设计在多大程度上满足其对应关系类型的理论关系条件？
• RQ4 这些条件的满足程度与不同模型及关系类型在链接预测性能上的相关性如何？
• RQ5 学习到的关系表征的实证特性（如矩阵对称性、向量范数与特征值大小）是否与基于关系条件的理论预测一致？

主要发现

• 理论分析表明，关系可被划分为三类——R（相关性）、S（对称性）与C（非对称性），每类在嵌入空间中需采用不同的几何映射方式。
• 在给定关系类型下，满足关系条件的模型在链接预测性能上显著更优，MRR与Hits@10指标均表现更佳，且性能与条件满足程度强相关。
• TuckER的关系矩阵在R类关系上表现出更高的对称性，这与架构中无加法组件的特性一致；而TransE与MuRE在R类关系上学习到的向量范数更低。
• MuRE中关系矩阵的特征值大小在R类关系上最大，表明其具有更强的相关性特征；而S类与C类关系的特征值分布存在显著差异，反映出相关性强度与结构的可变性。
• 在加法型模型（如TransE、MuRE）中，R类关系的向量范数显著低于S类或C类关系，支持了理论预测：相似性关系仅需最小的加法变换。
• 在WN18RR上的实证结果表明，架构与所推导条件对齐的模型在排名与分类指标上均优于其他模型，验证了理论框架的有效性。