[论文解读] ConE: Cone Embeddings for Multi-Hop Reasoning over Knowledge Graphs

Zhanqiu Zhang, Jie Wang+3 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Graph Neural Networks参考文献 33被引用 44

一句话总结

ConE 引入基于圆锥的查询嵌入，支持知识图谱上的所有一阶逻辑运算（合取、析取、否定）以进行多跳推理，并在标准基准上达到最先进的结果。

ABSTRACT

Query embedding (QE) -- which aims to embed entities and first-order logical (FOL) queries in low-dimensional spaces -- has shown great power in multi-hop reasoning over knowledge graphs. Recently, embedding entities and queries with geometric shapes becomes a promising direction, as geometric shapes can naturally represent answer sets of queries and logical relationships among them. However, existing geometry-based models have difficulty in modeling queries with negation, which significantly limits their applicability. To address this challenge, we propose a novel query embedding model, namely Cone Embeddings (ConE), which is the first geometry-based QE model that can handle all the FOL operations, including conjunction, disjunction, and negation. Specifically, ConE represents entities and queries as Cartesian products of two-dimensional cones, where the intersection and union of cones naturally model the conjunction and disjunction operations. By further noticing that the closure of complement of cones remains cones, we design geometric complement operators in the embedding space for the negation operations. Experiments demonstrate that ConE significantly outperforms existing state-of-the-art methods on benchmark datasets.

研究动机与目标

• 激发并使在不完整的知识图谱上使用一阶逻辑查询进行健壮的多跳推理成为可能。
• 提供一种基于几何的 QE 模型，能够建模所有 FOL 运算符，包括否定。
• 将查询和实体表示为二维圆锥的笛卡尔积，以自然捕捉集合运算。
• 在嵌入空间中发展投影、交集、并集和补集运算符，并提出可学习的基于距离的训练目标。

提出的方法

• 将实体和查询表示为二维扇形圆锥的笛卡尔积；一个实体是半径为0的圆锥，答案集合对应于包含在查询圆锥中的圆锥。
• 定义投影算子 f_r，通过对圆锥参数的基于多层感知机的参数映射来转换关系的查询嵌入。
• 通过对轴参数进行语义中心平均并对孔径取基于基数的最小值来实现交集建模（CardMin）。
• 通过最后的并集步骤使用对应于每个析取的圆锥嵌入集合来建模析取（DNF 表达）。
• 通过对圆锥进行闭包-补集来建模否定，使圆锥的补集仍然是圆锥；推导否定的 theta_ax 和 theta_ap 变换。
• 使用基于距离的目标函数学习嵌入，结合外部距离和内部距离（d_con）以及对析取取最小值的 d_dis；并应用负采样进行训练。

实验结果

研究问题

• RQ1 几何、基于圆锥的嵌入模型是否能够忠实地表示用于知识图问答的所有 FOL 运算（存在量化、合取、析取、否定）？
• RQ2 相较于最先进的基线，基于圆锥的嵌入是否在多跳推理性能和泛化方面有所提升，特别是在涉及否定的查询上？
• RQ3 孔径和轴参数如何与答案集合的基数以及查询语义相关？
• RQ4 在基于几何的 QE 模型中，处理并集时，DNF 表达形式是否必不可少？

主要发现

• ConE 在不含否定的基准上显著超越最先进的基线，在 FB15k、FB237 和 NELL 的平均提升为 19.7%，相较 BETA E。
• 在不含否定的查询上，ConE 相对提升最高可达 24.2% 相较 Query2Box。
• 在否定情形下，ConE 在 FB15k、FB237 和 NELL 上的 MRR 均高于 BETA E（FB15k 的平均提升为 14.8 对 11.8，FB237 为 5.9 对 5.4，NELL 为 6.4 对 5.9）。
• ConE 能有效处理否定（包括 2in、3in、inp、pin、pni 等），并在跨数据集的否定相关指标上取得显著提升（平均提升）。
• 该模型在交集上使用语义平均机制，在孔径最小化上结合 DeepSets 的 CardMin，从而实现可扩展的合取处理。
• 实证结果包括跨数据集和查询结构的详细 MRR 表值，显示出对基线的一致性提升。