[论文解读] AutoETER: Automated Entity Type Representation for Knowledge Graph Embedding

Guanglin Niu, Bo Li+3 more|arXiv (Cornell University)|Sep 25, 2020

Advanced Graph Neural Networks参考文献 32被引用 6

一句话总结

AutoETER 提出了一种新颖的知识图谱嵌入框架，通过在共享向量空间中将类型转移建模为翻译操作，自动学习与关系相关的实体类型表示。该方法在四个数据集上的链接预测任务中优于当前最先进模型，并通过端到端的类型嵌入学习，有效捕捉了对称性、逆关系、复合关系以及复杂的 1-N、N-1、N-N 关系，且无需显式类型注释。

ABSTRACT

Recent advances in Knowledge Graph Embedding (KGE) allow for representing entities and relations in continuous vector spaces. Some traditional KGE models leveraging additional type information can improve the representation of entities which however totally rely on the explicit types or neglect the diverse type representations specific to various relations. Besides, none of the existing methods is capable of inferring all the relation patterns of symmetry, inversion and composition as well as the complex properties of 1-N, N-1 and N-N relations, simultaneously. To explore the type information for any KG, we develop a novel KGE framework with Automated Entity TypE Representation (AutoETER), which learns the latent type embedding of each entity by regarding each relation as a translation operation between the types of two entities with a relation-aware projection mechanism. Particularly, our designed automated type representation learning mechanism is a pluggable module which can be easily incorporated with any KGE model. Besides, our approach could model and infer all the relation patterns and complex relations. Experiments on four datasets demonstrate the superior performance of our model compared to state-of-the-art baselines on link prediction tasks, and the visualization of type clustering provides clearly the explanation of type embeddings and verifies the effectiveness of our model.

研究动机与目标

• 为解决现有知识图谱嵌入模型依赖显式实体类型或无法在不同关系中建模多样化类型表示的局限性。
• 开发一种统一框架，能够建模所有主要关系模式——包括对称性、逆关系、复合关系，以及复杂的 1-N、N-1 和 N-N 关系。
• 自动学习实体的潜在类型表示，无需显式类型注释，从而提升在多样化知识图谱中的泛化能力。
• 通过引入反映关系语义上下文的关系特定类型嵌入，提升链接预测性能。

提出的方法

• 提出一种关系感知的投影机制，将类型转移建模为嵌入空间中的翻译操作：type_head + relation = type_tail。
• 采用两种不同的编码器：一种用于实体特定三元组，另一种用于类型特定三元组，实现实体、关系和类型嵌入的联合学习。
• 应用类型相似性约束以正则化类型嵌入，促使语义上相似的类型在嵌入空间中紧密聚集。
• 采用可插拔模块设计，可与任何现有 KGE 模型集成，通过学习到的类型表示提升其性能。
• 利用低维类型嵌入捕捉实体的一般特征，同时使用高维实体嵌入编码个体特征。
• 采用 t-SNE 和 K-means 对类型嵌入进行可视化，结果表明基于语义相似性的有意义聚类已形成。

实验结果

研究问题

• RQ1 知识图谱嵌入模型是否能在不依赖显式类型注释的情况下，学习到多样化的关系特定类型表示？
• RQ2 所提出的框架是否能够建模并推断出所有主要关系模式，包括对称性、逆关系、复合关系，以及复杂的 1-N、N-1、N-N 关系？
• RQ3 与使用显式类型或无类型信息的模型相比，自动学习的类型表示是否能提升链接预测性能？
• RQ4 关系感知投影机制在捕捉实体与其类型之间语义关系方面的有效性如何？

主要发现

• AutoETER 在四个基准数据集上的链接预测任务中达到最先进性能，优于 RotatE 和 QuatE。
• 在 FB15K-237 上，AutoETER 的 MRR 达到 0.344，Hits@10 为 0.538，展现出强大的泛化能力和鲁棒性。
• 消融实验表明，类型表示模块和类型相似性约束均显著提升性能，当移除类型表示时，MRR 下降至 0.340。
• 可视化结果表明，类型嵌入实现了有意义的聚类——例如，与电影相关的实体聚集在一起——验证了所学表示的语义一致性。
• AutoETER 超越了如 TKRL 和 TypeComplex 等类型嵌入模型，表明自动学习的关系感知类型嵌入比静态或显式提供的类型更有效。
• 该模型成功捕捉了复杂关系：在 FB15K 中，其在 1-N、N-1 和 N-N 关系上的表现尤为出色，尤其在头实体和尾实体预测任务中。