[论文解读] CompoundE: Knowledge Graph Embedding with Translation, Rotation and Scaling Compound Operations

Xiou Ge, Yun-Cheng Wang+2 more|arXiv (Cornell University)|Jul 12, 2022

Brain Tumor Detection and Classification被引用 6

一句话总结

CompoundE 是一种新颖的知识图谱嵌入模型，通过将平移、旋转和缩放操作统一为复合几何变换，以提升链接预测性能。通过利用仿射群结构，它在 FB15k-237、WN18RR 和 ogbl-wikikg2 上实现了最先进性能，且参数量显著少于先前模型。

ABSTRACT

Translation, rotation, and scaling are three commonly used geometric manipulation operations in image processing. Besides, some of them are successfully used in developing effective knowledge graph embedding (KGE) models such as TransE and RotatE. Inspired by the synergy, we propose a new KGE model by leveraging all three operations in this work. Since translation, rotation, and scaling operations are cascaded to form a compound one, the new model is named CompoundE. By casting CompoundE in the framework of group theory, we show that quite a few scoring-function-based KGE models are special cases of CompoundE. CompoundE extends the simple distance-based relation to relation-dependent compound operations on head and/or tail entities. To demonstrate the effectiveness of CompoundE, we conduct experiments on three popular KG completion datasets. Experimental results show that CompoundE consistently achieves the state of-the-art performance.

研究动机与目标

• 解决现有 KGE 模型在处理 1-N、N-1 和 N-N 类型复杂关系时的局限性。
• 在低维嵌入空间中提升性能，以应对内存受限导致的模型容量不足问题。
• 通过泛化平移和旋转操作，将多种 KGE 模型统一于单一几何框架之下。
• 在保持或提升大规模知识图谱上性能的同时，降低模型复杂度和参数数量。

提出的方法

• CompoundE 将关系建模为向量空间中结合平移、旋转和缩放的复合操作。
• 采用参数化变换：$ \mathbf{t} \approx \mathbf{T} \cdot \mathbf{R}(\theta) \cdot \mathbf{S} \cdot \mathbf{h} $，其中 $ \mathbf{T} $、$ \mathbf{R}(\theta) $ 和 $ \mathbf{S} $ 分别表示平移、旋转（通过复数实现）和缩放分量。
• 该模型基于群论，仿射群提供了对复杂关系建模的数学保证。
• 提出三种变体：CompoundE-Head、CompoundE-Tail 和 CompoundE-Full，取决于变换作用于头实体、尾实体或两者。
• 打分函数基于变换后的头实体与尾实体之间的 L1 或 L2 距离。
• 关系嵌入在实体间共享，模型通过负采样和随机优化进行端到端训练。

实验结果

研究问题

• RQ1 能否通过统一结合平移、旋转和缩放操作的 KGE 模型，实现优于现有模型的性能？
• RQ2 复合几何操作如何提升对 1-N、N-1 和 N-N 关系等复杂关系类型的建模能力？
• RQ3 复合操作框架能否将现有 KGE 模型（如 TransE 和 RotatE）作为特例进行泛化？
• RQ4 该模型是否能在显著减少参数量的情况下，仍保持高性能，尤其是在大规模知识图谱上？
• RQ5 所学习的变换分量（平移、旋转、缩放）如何反映现实世界关系的语义特性？

主要发现

• 在 FB15k-237 上，CompoundE 实现了最先进性能，Hits@10 达到 0.783，MRR 达到 0.394，优于所有基线模型。
• 在 WN18RR 上，CompoundE 实现 Hits@10 为 0.763，MRR 为 0.387，超越 RotatE 和 PairRE。
• 在 ogbl-wikikg2 上，CompoundE 仅使用 250.3M 参数即达到最佳性能，模型大小较 TransE 和 ComplEx 等模型至少减少一半。
• 关系嵌入的可视化显示，对称关系（如 'friend'）的平移和缩放值接近零，与理论预期一致。
• 通过学习参数的分布验证了模型对复杂关系的建模能力，其中 N-N 关系表现出奇异的缩放行为。
• CompoundE 学习到的实体嵌入捕捉了语义结构，t-SNE 可视化显示，不同类型的实体在颜色上部分分离。