[论文解读] Knowledge Hypergraph Embedding Meets Relational Algebra

Bahare Fatemi, Perouz Taslakian+2 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Graph Neural Networks参考文献 22被引用 6

一句话总结

本文提出 ReAlE，一种将关系代数操作（重命名、投影、选择、并集和差集）整合到神经网络框架中的知识超图嵌入模型，以提升链接预测性能。该模型在理论上被证明具有完全表达性，并在真实和合成的知识超图数据集上实证显示优于最先进方法，尤其在捕捉高层次关系抽象方面表现优异。

ABSTRACT

Embedding-based methods for reasoning in knowledge hypergraphs learn a representation for each entity and relation. Current methods do not capture the procedural rules underlying the relations in the graph. We propose a simple embedding-based model called ReAlE that performs link prediction in knowledge hypergraphs (generalized knowledge graphs) and can represent high-level abstractions in terms of relational algebra operations. We show theoretically that ReAlE is fully expressive and provide proofs and empirical evidence that it can represent a large subset of the primitive relational algebra operations, namely renaming, projection, set union, selection, and set difference. We also verify experimentally that ReAlE outperforms state-of-the-art models in knowledge hypergraph completion, and in representing each of these primitive relational algebra operations. For the latter experiment, we generate a synthetic knowledge hypergraph, for which we design an algorithm based on the Erdos-R'enyi model for generating random graphs.

研究动机与目标

• 设计一种知识超图嵌入模型，利用关系代数操作捕捉高层次关系抽象。
• 通过整合关系代数的程序化语义，解决现有模型在处理非二元关系时的局限性。
• 确保在超图中表示核心关系操作的理论表达性和实证有效性。
• 在真实世界和合成知识超图上评估性能，包括对窗口大小的消融研究。

提出的方法

• ReAlE 使用基于窗口的交互机制来建模嵌入元素之间的交互，支持组合式推理。
• 该模型应用可学习参数来模拟基本关系代数操作，如重命名、投影、选择、并集和集合差集。
• 关系通过与关系代数操作相对应的可学习变换矩阵来表示。
• 使用基于 Erdős-Rényi 的算法生成合成知识超图，以控制评估的真值操作。
• 该模型采用基于窗口的打分函数，通过关系特异性窗口聚合嵌入，以提升表达能力。
• 超参数调优包括窗口大小，其对性能有显著影响。

实验结果

研究问题

• RQ1 神经嵌入模型能否在知识超图中表示重命名、投影和集合差集等基本关系代数操作？
• RQ2 将关系代数原语集成是否能提升知识超图补全任务中的泛化能力和链接预测性能？
• RQ3 在合成超图中，模型性能如何随关系代数操作的深度和类型而变化？
• RQ4 ReAlE 中嵌入组件之间交互的最优窗口大小是多少？

主要发现

• 在三个真实世界数据集（JF17K、FB-AUTO 和 M-FB15K）上，ReAlE 在均 reciprocal rank（MRR）指标上优于最先进模型。
• 在合成的 REL-ER 数据集上，ReAlE 在所有类型的关系代数操作中均表现出色，包括重命名、投影、选择、并集和差集。
• 模型在基本关系上表现强劲，表明其有效学习了基础表示。
• 消融研究显示，窗口大小显著影响性能，最优性能出现在窗口大小为 2 到 4 之间。
• 测试集中缺少选择元组是由于其频率较低，但 ReAlE 仍能在训练中有效学习这些元组。