[论文解读] HousE: Knowledge Graph Embedding with Householder Parameterization

Rui Li, Jianan Zhao+10 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用 20

一句话总结

HousE 引入 Householder 旋转和 Householder 投影，用以建模高维度关系旋转和关系映射属性，在五个基准数据集上实现最先进的知识图谱嵌入性能。

ABSTRACT

The effectiveness of knowledge graph embedding (KGE) largely depends on the ability to model intrinsic relation patterns and mapping properties. However, existing approaches can only capture some of them with insufficient modeling capacity. In this work, we propose a more powerful KGE framework named HousE, which involves a novel parameterization based on two kinds of Householder transformations: (1) Householder rotations to achieve superior capacity of modeling relation patterns; (2) Householder projections to handle sophisticated relation mapping properties. Theoretically, HousE is capable of modeling crucial relation patterns and mapping properties simultaneously. Besides, HousE is a generalization of existing rotation-based models while extending the rotations to high-dimensional spaces. Empirically, HousE achieves new state-of-the-art performance on five benchmark datasets. Our code is available at https://github.com/anrep/HousE.

研究动机与目标

• 激发在知识图谱嵌入（KGE）中建模全面的关系模式（对称性、反对称性、反转、组合）以及关系映射属性的需求。
• 提出基于 Householder 变换的通用、高容量参数化，用以表示高维度的旋转。
• 将 Householder 旋转与可逆的 Householder 投影结合起来，以同时捕捉关系模式和映射属性。
• 证明 HousE 能推广现有的基于旋转的模型，并在标准基准数据集上达到最先进的结果。
• 通过大量实验证明高维旋转和可逆投影的有效性。

提出的方法

• 通过 Householder 反射将关系表示为高维旋转，使任意 k 维旋转都能表示为 2 floor(k/2) 次反射的乘积（Rot-H）。
• 引入 Relational Householder Projections，生成面向头实体和尾实体的关系特定、可逆表示（Pro-H）。
• 在统一框架（HousE）中将投影和旋转结合起来，以建模所有目标关系模式和映射属性。
• 定义基于距离的评分 d_r(h,t)，对旋转后的头实体投影与投影后的尾实体在逐行的 L2 距离求和。
• 通过将矩阵-向量乘积转化为等价的向量运算，并受控于 Householder 结构，以提供高效计算。
• 将 HousE 与并扩展先前的基于旋转的模型（RotatE、Rotate3D、QuatE）对齐为特例。

实验结果

研究问题

• RQ1 Householder 参数化是否能够表达捕捉知识图谱中常见关系模式和映射属性所需的所有 k 维旋转？
• RQ2 将高维 Householder 旋转与可逆的 Householder 投影相结合，是否比现有基于旋转的方法更好地建模所有关系模式和 RMP？
• RQ3 在标准 KG 基准上，HousE 相对于强基线的表现如何，以及超参数（旋转维度 k、投影个数 m）如何影响性能？
• RQ4 所提出的投影是否保持可逆性并能够建模早期投影无法实现的反转和组合模式？

主要发现

• HousE-r（仅旋转）在 WN18 和 FB15k 上优于基线，证明了高维度 Householder 旋转的威力。
• HousE（旋转+投影）在 WN18 和 FB15k 上均取得新的最先进结果，特别是在关系映射属性方面有改进。
• 在 WN18RR、FB15k-237 和 YAGO3-10 上，HousE-r 和 HousE 的表现超过大多数基线，且 HousE 常常在各项指标上达到最佳结果。
• 由于关系型 Householder 投影，HousE 在具有挑战性的 1-to-N 和 N-to-1 关系上显著提升了性能。
• 消融对比（HousH、HousR）表明不可逆投影会降低性能，而 HousE 中的可逆 Householder 投影带来明显增益。
• 加入平移的变体（HousE-r+ 和 HousE+）进一步提升结果，表明分层信息建模的优势。