[論文レビュー] QUERY2BOX: REASONING OVER KNOWLEDGE GRAPHS IN VECTOR SPACE USING BOX EMBEDDINGS

Hongyu Ren|arXiv (Cornell University)|Feb 14, 2020

Advanced Graph Neural Networks参考文献 31被引用数 79

ひとこと要約

Query2boxは、ベクトル空間のボックスとしてクエリを表現し、大規模で不完全なKGに対する任意のEPFOクエリを扱い、EPFOクエリを結合クエリのDNFに変換して結果を集約することにより、ベースラインに対して最大で相対的に25%の改善を達成します。

ABSTRACT

Answering complex logical queries on large-scale incomplete knowledge graphs (KGs) is a fundamental yet challenging task. Recently, a promising approach to this problem has been to embed KG entities as well as the query into a vector space such that entities that answer the query are embedded close to the query. However, prior work models queries as single points in the vector space, which is problematic because a complex query represents a potentially large set of its answer entities, but it is unclear how such a set can be represented as a single point. Furthermore, prior work can only handle queries that use conjunctions ($\wedge$) and existential quantifiers ($\exists$). Handling queries with logical disjunctions ($\vee$) remains an open problem. Here we propose query2box, an embedding-based framework for reasoning over arbitrary queries with $\wedge$, $\vee$, and $\exists$ operators in massive and incomplete KGs. Our main insight is that queries can be embedded as boxes (i.e., hyper-rectangles), where a set of points inside the box corresponds to a set of answer entities of the query. We show that conjunctions can be naturally represented as intersections of boxes and also prove a negative result that handling disjunctions would require embedding with dimension proportional to the number of KG entities. However, we show that by transforming queries into a Disjunctive Normal Form, query2box is capable of handling arbitrary logical queries with $\wedge$, $\vee$, $\exists$ in a scalable manner. We demonstrate the effectiveness of query2box on three large KGs and show that query2box achieves up to 25% relative improvement over the state of the art.

研究の動機と目的

• 表現力豊かなEPFOクエリを用いて、大規模で不完全なKGに対するスケーラブルな推論を動機づける。
• 単一点ではなくボックス埋め込みで答えエンティティの集合をモデル化する。
• EPFOクエリを結合クエリのDNFに変換して選言を処理可能にする。
• ボックス上の射影と交差を学習可能な幾何演算子で訓練する。
• 強い一般化能力と欠落関係の補完能力を示す。

提案手法

• KGエンティティをR^dの点として埋め込み、クエリをR^dの軸平行ボックスとして表現する。
• 各関係を、クエリボックスを変換・拡大するボックス埋め込み演算子に関連付ける（射影）。
• 入力ボックスに対するアテンションを用いてボックスを縮小・中央化する幾何的交差演算子を定義する。
• エンティティとクエリ間の距離を、dist_outsideとdist_insideを重みαで結合するdist_boxとしてモデル化する。
• 最終ボックス内の回答エンティティを押し込み、否定例を外へ追い出す負サンプリング目的で訓練する。
• EPFOクエリをDisjunctive Normal Formに変換して選言を処理し、結合サブクエリからの結果を集約する。

実験結果

リサーチクエスチョン

• RQ1 EPFOクエリは低次元のボックス埋め込み空間で効果的に答えられるか？
• RQ2 結合、選言、および存在量演算子を、幾何的なボックス演算としてどのように表現できるか？
• RQ3 EPFOクエリをDNFに変換することで、大規模で不完全なKGに対するスケーラブルな推論が可能になるか？
• RQ4 複雑なクエリ構造に対するstate-of-the-artベースラインに対して、query2boxの性能はどの程度か？
• RQ5 未知のクエリ構造へ一般化し、欠損関係を補完できるか？

主な発見

Dataset	Avg	1p	2p	3p	2i	3i	ip	pi	2u	up
FB15k	q2b	0.484	0.786	0.413	0.303	0.593	0.712	0.211	0.397	0.608	0.330
FB15k-237	q2b	0.268	0.467	0.240	0.186	0.324	0.453	0.108	0.205	0.239	0.193
NELL995	q2b	0.306	0.555	0.266	0.233	0.343	0.480	0.132	0.212	0.369	0.163

• Query2boxはEPFOクエリ回答タスクでベースラインに対して最大で相対的に25%の改善を達成。
• ボックス埋め込みは、クエリ-回答セットを自然にモデル化し、射影と交差による閉じた演算を実現する。
• DNF変換は、指数的な次元数を必要とせずに選言のスケーラブルな処理を可能にする。
• 未知のクエリ構造への強い一般化と、暗黙的な欠落関係の補完を観察。
• FB15k、FB15k-237、NELL995での実験は、複雑なクエリ構造に対してgqeベースラインより優れた性能を示す。