[论文解读] Distributed Representations of Entities in Open-World Knowledge Graphs

Lingbing Guo, Zhuo Chen+8 more|arXiv (Cornell University)|Oct 16, 2020

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出了一种名为decentRL的去中心化知识图谱表示学习方法，该方法仅通过图注意力机制（DAN）从邻居嵌入中学习实体嵌入，而无需依赖自特征。该方法引入了一种自动蒸馏器用于知识蒸馏，以优化输出表示，在仅使用结构数据的归纳设定下，实现了实体对齐和实体预测任务的最先进性能。

ABSTRACT

Graph neural network (GNN)-based methods have demonstrated remarkable performance in various knowledge graph (KG) tasks. However, most existing approaches rely on observing all entities during training, posing a challenge in real-world knowledge graphs where new entities emerge frequently. To address this limitation, we introduce Decentralized Attention Network (DAN). DAN leverages neighbor context as the query vector to score the neighbors of an entity, thereby distributing the entity semantics only among its neighbor embeddings. To effectively train a DAN, we introduce self-distillation, a technique that guides the network in generating desired representations. Theoretical analysis validates the effectiveness of our approach. We implement an end-to-end framework and conduct extensive experiments to evaluate our method, showcasing competitive performance on conventional entity alignment and entity prediction tasks. Furthermore, our method significantly outperforms existing methods in open-world settings.

研究动机与目标

• 为解决现有基于GNN的知识图谱嵌入模型在开放世界设定下对未见实体输入特征的依赖问题，而这些特征通常不可用。
• 开发一种仅从邻域信息学习实体表示的方法，实现在仅含结构信息的知识图谱中的归纳表示学习。
• 设计一种有效的优化机制，使输出嵌入能持续从原始实体表示中学习，而无需直接的特征监督。
• 证明去中心化学习相较于集中式聚合在下游任务中的鲁棒性和性能优势。

提出的方法

• 提出一种去中心化注意力网络（DAN），作为GAT的变体，通过仅聚合邻居嵌入来计算实体嵌入，排除实体自身表示的影响。
• 设计一种自动蒸馏算法，通过最大化原始表示与蒸馏表示之间的互信息，交替优化输出嵌入及其目标。
• 利用知识蒸馏技术优化输出嵌入，使其在训练批次中持续从原始实体嵌入中学习。
• 将自动蒸馏器应用于对齐每个实体的输出表示与原始嵌入，避免因潜在的维度不匹配而直接使用L1/L2最小化。
• 采用对称注意力机制，使邻居同时作为上下文和查询，增强模型的表达能力和鲁棒性。
• 将DAN与知识蒸馏集成到一个端到端框架中，用于在开放世界知识图谱中进行归纳表示学习。

Figure 1: Comparing graph attention network (GAT) with decentralized attention network (DAN).

实验结果

研究问题

• RQ1 是否可以仅从邻居嵌入中有效学习实体表示，而无需依赖自特征或输入特征？
• RQ2 当原始实体表示不被直接用作输入时，如何优化输出嵌入？
• RQ3 与传统GNN相比，通过仅使用邻居注意力的去中心化聚合是否能提升实体对齐和预测任务的性能？
• RQ4 从原始嵌入到输出表示的知识蒸馏是否能增强模型的泛化能力和归纳偏差？

主要发现

• decentRL在DBP15K的三个语言对（ZH-EN、JA-EN、FR-EN）上均实现了最先进性能，MRR得分分别为0.672、0.678和0.689。
• 在实体预测任务中，decentRL + DistMult在FB15K-237上优于所有基线模型，取得了最高的MRR，并显著提升了长尾实体的MR（平均排名）。
• 在开放世界设定下，decentRL + DistMult超越了CompGCN + ConvE及其他SOTA模型，展现出仅使用结构数据时强大的归纳偏差。
• 与使用L2或InfoNCE损失的基线相比，自动蒸馏器显著提升了性能，H@1得分分别提高了0.01（相对于L2）和0.015（相对于InfoNCE）。
• decentRL明显优于集中式变体（centRL），表明排除自特征可提升表示质量并避免干扰。
• 逐层分析显示，decentRL在所有层上均优于AliNet，且随着堆叠层数增加，性能增益持续提升，而AliNet在两层后性能开始下降。

Figure 2: Open entity alignment results on DBP15K. Bars with dotted lines denote the performance drop compared with the corresponding results in the non-open setting. The same to the following.