[论文解读] Improving Hyper-Relational Knowledge Graph Completion

Donghan Yu, Yiming Yang|arXiv (Cornell University)|Apr 16, 2021

Advanced Graph Neural Networks参考文献 19被引用 19

一句话总结

该论文提出 Hy-Transformer，通过用轻量级嵌入技术替代 STARE 的重型图神经网络，并引入面向限定符的辅助训练任务，实现了更高效且更有效的超关系知识图谱补全模型。该方法在三个基准数据集上均达到最先进性能，同时显著降低计算成本。

ABSTRACT

Different from traditional knowledge graphs (KGs) where facts are represented as entity-relation-entity triplets, hyper-relational KGs (HKGs) allow triplets to be associated with additional relation-entity pairs (a.k.a qualifiers) to convey more complex information. How to effectively and efficiently model the triplet-qualifier relationship for prediction tasks such as HKG completion is an open challenge for research. This paper proposes to improve the best-performing method in HKG completion, namely STARE, by introducing two novel revisions: (1) Replacing the computation-heavy graph neural network module with light-weight entity/relation embedding processing techniques for efficiency improvement without sacrificing effectiveness; (2) Adding a qualifier-oriented auxiliary training task for boosting the prediction power of our approach on HKG completion. The proposed approach consistently outperforms STARE in our experiments on three benchmark datasets, with significantly improved computational efficiency.

研究动机与目标

• 解决 STARE 的计算效率低下问题，STARE 是当时超关系 KG 补全的最先进模型，依赖于重型图神经网络。
• 通过更好地建模三元组与其限定符之间的作用关系，提升超关系 KG 补全的预测性能。
• 通过轻量级嵌入处理技术，在显著降低推理和训练时间的同时，保持或提升模型的有效性。
• 引入一种新颖的辅助训练任务，专注于预测缺失的限定符实体，以增强表示学习能力。
• 在具有不同超关系语句比例的多样化数据集上，展示一致的性能提升。

提出的方法

• 用轻量级实体和关系嵌入处理技术（包括层归一化和 Dropout）替换 STARE 的图神经网络模块，以提升计算效率。
• 引入一种辅助训练目标，用于预测限定符对中缺失的实体，以增强模型从限定符关系中学习的能力。
• 将输入语句展平为标记序列（头实体、关系、[MASK]、限定符关系、限定符实体），供 Transformer 编码器处理。
• 对实体和关系嵌入应用层归一化和 Dropout，以稳定训练并防止过拟合。
• 采用类似 BERT 的掩码语言建模方法，其中 [MASK] 标记代表主三元组中缺失的头实体或尾实体。
• 通过主预测损失与辅助限定符预测损失的组合，端到端训练模型。

实验结果

研究问题

• RQ1 是否可以通过用轻量级嵌入技术替代 STARE 中的 GNN 模块，在不损失性能的前提下提升计算效率？
• RQ2 引入一种专注于预测缺失限定符实体的辅助训练任务，是否能增强模型完成超关系知识图谱的能力？
• RQ3 在不同比例的超关系语句（即包含限定符的语句）下，模型表现如何？
• RQ4 各个嵌入处理组件（如层归一化、Dropout）对最终性能的贡献是什么？
• RQ5 所提方法是否能在标准超关系 KG 补全基准上达到最先进结果？

主要发现

• Hy-Transformer 在 WikiPeople 上达到新的最先进 MRR 0.501，在 JF17K 上为 0.582，在 WD50K 上为 0.356，全面超越 STARE 在三个数据集上的表现。
• 在包含 100% 超关系语句的 WD50K (100) 数据集上，Hy-Transformer 的 MRR 达到 0.699，相比 STARE 提升 5.7%。
• 辅助训练任务在 WD50K (33)、WD50K (66) 和 WD50K (100) 上分别提升 MRR 3.3%、5.1% 和 5.7%，且随着限定符丰富语句比例的提高，性能增益持续增加。
• 消融实验表明，移除实体嵌入的层归一化会使 MRR 下降 6.6%，凸显其在性能稳定性中的关键作用。
• 实体嵌入 Dropout 使 MRR 提升 4.0%，证明其在大规模实体嵌入中有效缓解过拟合。
• 由于去除了 GNN 模块，Hy-Transformer 显著优于 STARE，支持在大规模超关系 KG 上实现更快的训练与推理。