[论文解读] Convolutional 2D Knowledge Graph Embeddings

Tim Dettmers, Pasquale Minervini+2 more|arXiv (Cornell University)|Jul 5, 2017

Advanced Graph Neural Networks被引用 29

一句话总结

该论文提出 ConvE，一种用于知识图谱链接预测的二维卷积神经网络，其参数量显著少于 DistMult 和 R-GCN，同时实现了最先进（SOTA）的性能表现。通过将二维卷积应用于实体和关系嵌入，ConvE 能够捕捉高度连通图中复杂的分层模式，尤其适用于具有高入度节点的图结构，同时通过精心构建的数据集变体，实现了高效的 1-N 评分和对测试集泄漏的鲁棒性。

ABSTRACT

Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer models -- which potentially limits performance. In this work, we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -- which are common in highly-connected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test set -- however, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -- deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.

研究动机与目标

• 开发一种深层、参数高效的模型，用于知识图谱链接预测，使其能够扩展至大规模图结构，同时保持高度的表达能力。
• 解决浅层模型（如 DistMult）的局限性，后者依赖高维嵌入表示，难以处理复杂图结构。
• 研究并量化标准数据集（如 WN15 和 FB15k）中因逆关系导致的测试集泄漏对基准结果有效性的影响。
• 构建稳健、无泄漏的基准数据集变体，以确保对链接预测模型的公平评估。
• 在这些稳健数据集上评估 ConvE 及先前模型，并确立其在平均倒数排名（MRR）指标上的优越性。

提出的方法

• 将实体和关系表示为可学习的嵌入，并将其排列成二维矩阵，以进行二维卷积处理。
• 应用单层二维卷积层并使用 ReLU 激活函数，从嵌入矩阵中提取分层的、非线性的特征。
• 使用批量归一化和 Dropout 来防止训练过程中的过拟合。
• 通过线性变换将卷积层的输出投影到嵌入维度。
• 通过投影特征与目标实体嵌入之间的内积计算得分。
• 实现一种 1-N 评分机制，通过高效的负采样和批量处理，使训练速度提升 3 倍，推理速度提升 300 倍。

实验结果

研究问题

• RQ1 深层的二维卷积架构是否能在使用更少参数的情况下，超越浅层模型（如 DistMult）在链接预测任务中的表现？
• RQ2 通过逆关系导致的测试集泄漏在多大程度上损害了 WN18 和 FB15k 基准结果的有效性？
• RQ3 模型性能与知识图谱中节点的中心性及递归入度之间存在何种相关性？
• RQ4 ConvE 的深层架构是否在具有高入度或高 PageRank 节点的复杂图结构上提供了可测量的优势？
• RQ5 能否推导出标准数据集的稳健、无泄漏变体，以确保模型评估的公平性和意义？

主要发现

• ConvE 在大多数稳健基准数据集（包括 FB15k-237、WN18RR 和 YAGO3-10）上均实现了最先进（SOTA）的平均倒数排名（MRR）表现。
• 在 FB15k-237 数据集上，ConvE 实现了 SOTA 的 MRR，参数量仅为 DistMult 的 1/8 和 R-GCN 的 1/17。
• 一个简单的基于规则的模型若利用逆关系，可在原始 WN18 和 FB15k 数据集上达到 SOTA 性能，表明存在严重的测试集泄漏问题。
• 为消除逆关系泄漏，创建了稳健数据集变体 WN18RR，从而实现了对模型的公平评估。
• 在高入度图结构（如 FB15k-237 和 YAGO3-10）上，ConvE 显著优于 DistMult，且平均测试集 PageRank 与性能增益之间的相关系数为 r=0.56。
• ConvE 与 DistMult 的性能差距随着节点中心性和递归入度的增加而扩大，证实深层模型能更有效地捕捉复杂图结构。