[論文レビュー] ConE: Cone Embeddings for Multi-Hop Reasoning over Knowledge Graphs

Zhanqiu Zhang, Jie Wang+3 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Graph Neural Networks参考文献 33被引用数 44

ひとこと要約

ConEは、円錐ベースのクエリ埋め込みを導入し、知識グラフ上の多段推論のために全てのFOL演算（論理積・論理和・否定）をサポートし、標準ベンチマークで最先端の結果を達成します。

ABSTRACT

Query embedding (QE) -- which aims to embed entities and first-order logical (FOL) queries in low-dimensional spaces -- has shown great power in multi-hop reasoning over knowledge graphs. Recently, embedding entities and queries with geometric shapes becomes a promising direction, as geometric shapes can naturally represent answer sets of queries and logical relationships among them. However, existing geometry-based models have difficulty in modeling queries with negation, which significantly limits their applicability. To address this challenge, we propose a novel query embedding model, namely Cone Embeddings (ConE), which is the first geometry-based QE model that can handle all the FOL operations, including conjunction, disjunction, and negation. Specifically, ConE represents entities and queries as Cartesian products of two-dimensional cones, where the intersection and union of cones naturally model the conjunction and disjunction operations. By further noticing that the closure of complement of cones remains cones, we design geometric complement operators in the embedding space for the negation operations. Experiments demonstrate that ConE significantly outperforms existing state-of-the-art methods on benchmark datasets.

研究の動機と目的

• 未完備なKGに対して一階論理クエリを用いて、堅牢な多段推論を動機付け・実現する。
• 否定を含むすべてのFOL演算子をモデル化できる幾何ベースのQEモデルを提供する。
• クエリとエンティティを2次元円錐の直積として表現し、集合演算を自然に捉える。
• 埋め込み空間で射影、積集合、和集合、補集合演算子を開発し、学習可能な距離ベースの訓練目的を設計する。

提案手法

• エンティティとクエリを2次元セクター円錐の直積として表現する。エンティティは開口部が0の円錐で、解集合はクエリ円錐に含まれる円錐に対応する。
• 関係に対してクエリ埋め込みを変換する射影演算子 f_r を、円錐パラメータ上のMLPベースのパラメトリックマッピングを用いて定義する。
• 連言は共通の意味的中心の平均を軸パラメータで計算し、開口部の基数ベース最小値（CardMin）で表すことで交差をモデル化する。
• 析取は各正/分裂の円錐埋め込みの集合を用いて最終和集合ステップでモデル化する（DNF形式）。
• 否定は円錐の閉包補集合により実装し、円錐の補集合が依然として円錐となるようにする；否定のための theta_ax および theta_ap の変換を導出する。
• 外側距離/d_con と内側距離を組み合わせた距離ベースの目的関数と、析取の最小値を取る d_dis を組み合わせて埋め込みを学習する。訓練にはネガティブサンプルを適用する。

実験結果

リサーチクエスチョン

• RQ1 幾何的で円錐ベースの埋め込みモデルは、KG問合せ回答において全てのFOL演算（存在量化、連言、析取、否定）を忠実に表現できるのか？
• RQ2 円錐ベースの埋め込みは、最先端のベースラインと比較して、特に否定を含むクエリで、多段推論の性能と一般化を向上させるのか？
• RQ3 開口部と軸パラメータは、解集合の大きさやクエリの意味とどのように相関するのか？
• RQ4 幾何ベースのQEモデルで和集合を効果的に扱うために、DNF形式は必須なのか？

主な発見

Dataset	Model	1p	2p	3p	2i	3i	pi	ip	2u	up	AVG
FB15k	GQE	53.9	15.5	11.1	40.2	52.4	27.5	19.4	22.3	11.7	28.2
FB15k	Q2B	70.5	23.0	15.1	61.2	71.8	41.8	28.7	37.7	19.0	40.1
FB15k	B ETA E	65.1	25.7	24.7	55.8	66.5	43.9	28.1	40.1	25.2	41.6
FB15k	ConE	73.3	33.8	29.2	64.4	73.7	50.9	35.7	55.7	31.4	49.8
FB237	GQE	35.2	7.4	5.5	23.6	35.7	16.7	10.9	8.4	5.8	16.6
FB237	Q2B	41.3	9.9	7.2	31.1	45.4	21.9	13.3	11.9	8.1	21.1
FB237	B ETA E	39.0	10.9	10.0	28.8	42.5	22.4	12.6	12.4	9.7	20.9
FB237	ConE	41.8	12.8	11.0	32.6	47.3	25.5	14.0	14.5	10.8	23.4
NELL	GQE	33.1	12.1	9.9	27.3	35.1	18.5	14.5	8.5	9.0	18.7
NELL	Q2B	42.7	14.5	11.7	34.7	45.8	23.2	17.4	12.0	10.7	23.6
NELL	B ETA E	53.0	13.0	11.4	37.6	47.5	24.1	14.3	12.2	8.5	24.6
NELL	ConE	53.1	16.1	13.9	40.0	50.8	26.3	17.5	15.3	11.3	27.2

• ConEは否定を含まないベンチマークで最先端ベースラインを大幅に上回り、FB15k、FB237、NELL全体でBETA Eに対して平均19.7%の改善を達成。
• 否定を含まないクエリでQuery2Boxに対して最大24.2%の相対改善を示す。
• 否定の場合、FB15k, FB237, NELL 全体でConEはBETA EよりMRRが高く（FB15kで平均14.8対11.8、FB237で5.9対5.4、NELLで6.4対5.9の平均向上）。
• ConEは否定を効果的に扱い（2in, 3in, inp, pin, pni など）、データセット全体で否定関連指標の顕著な改善を達成（平均的な改善）。
• 本モデルは、交差のための意味平均機構と、円口縮小をDeepSetsで行うCardMinを使用し、連結処理を大規模に扱えるようにしている。
• 実証結果には、データセットとクエリ構造全体に渡る詳細なMRR表値が含まれ、ベースラインに対して一貫した改善を示している。