[論文レビュー] Query2box: Reasoning over Knowledge Graphs in Vector Space using Box\n Embeddings

Hongyu Ren, Weihua Hu+1 more|arXiv (Cornell University)|Feb 14, 2020

Advanced Graph Neural Networks参考文献 33被引用数 81

ひとこと要約

Query2box は、大規模で不完全な知識グラフ上の存在性ポジティブ一階 (EPFO) クエリを解くためにクエリをベクトル空間のボックスとして埋め込み、DNF を用いて析否を扱い、ベースラインに対して最大25%の相対改善を達成します。

ABSTRACT

Answering complex logical queries on large-scale incomplete knowledge graphs\n(KGs) is a fundamental yet challenging task. Recently, a promising approach to\nthis problem has been to embed KG entities as well as the query into a vector\nspace such that entities that answer the query are embedded close to the query.\nHowever, prior work models queries as single points in the vector space, which\nis problematic because a complex query represents a potentially large set of\nits answer entities, but it is unclear how such a set can be represented as a\nsingle point. Furthermore, prior work can only handle queries that use\nconjunctions ($\\wedge$) and existential quantifiers ($\\exists$). Handling\nqueries with logical disjunctions ($\\vee$) remains an open problem. Here we\npropose query2box, an embedding-based framework for reasoning over arbitrary\nqueries with $\\wedge$, $\\vee$, and $\\exists$ operators in massive and\nincomplete KGs. Our main insight is that queries can be embedded as boxes\n(i.e., hyper-rectangles), where a set of points inside the box corresponds to a\nset of answer entities of the query. We show that conjunctions can be naturally\nrepresented as intersections of boxes and also prove a negative result that\nhandling disjunctions would require embedding with dimension proportional to\nthe number of KG entities. However, we show that by transforming queries into a\nDisjunctive Normal Form, query2box is capable of handling arbitrary logical\nqueries with $\\wedge$, $\\vee$, $\\exists$ in a scalable manner. We demonstrate\nthe effectiveness of query2box on three large KGs and show that query2box\nachieves up to 25% relative improvement over the state of the art.\n

研究の動機と目的

• 複合的で不完全な知識グラフのクエリを、連結クエリだけに留まらない形で答える必要性を動機づける。
• 解集合を回答エンティティを囲む領域として表すボックス埋め込みを導入する。
• EPFO クエリにおける析否を扱うための DNF ベースのアプローチを開発する。
• ボックス上の幾何演算子（射影と交差）と距離ベースの学習目的を定義する。
• 大規模な KB ベンチマークにおいて、最先端のベースラインと比較してスケーラビリティと精度の改善を示す。

提案手法

• 知識グラフのエンティティをベクトルとして、クエリをR^d内の軸対齊ボックスとして埋め込む。
• 射影を、ボックスの平行移動と拡大として定義する：関係 r に対して Box_p + r。
• 交差を、学習可能で注意機構に導かれたボックスの縮小として定義し、集合の交差をモデル化する。
• dist_box(v; q) を、ボックス外部距離と内部距離の加重ブレンドでモデリングし、エンティティをランク付けする。
• 負サンプリングとマージンベースの損失で訓練し、真の回答を負例より近づけるよう促す。
• EPFO クエリをDNFに変換して並列処理を可能にし、複数の連結クエリを解いて最小距離規則で結果を集約する。
• CNF コンポーネントすべてに対して dist_agg(v; q) = min(dist_box(v; q^(i))) を取って連結クエリ全体の距離を集約する。
• ボックス演算を定数時間で提供し、並列評価を可能にすることでスケーラビリティを実現し、取得のための NN ベースの最近傍探索を用いる。

実験結果

リサーチクエスチョン

• RQ1 複雑なEPFOクエリを、ボックスを用いた低次元のベクトル空間で表現し、推論できるか。
• RQ2 次元が爆発せずに、ボックス埋め込み内で析の扱いをどうすれば実用的にできるか。
• RQ3 EPFOクエリをDNFに変換することで、大規模で不完全な知識グラフ上で正確かつスケーラブルなクエリ回答が可能か。
• RQ4 標準の知識グラフベンチマークにおいて、最先端のベースラインと比較して、Query2box が提供する精度の向上と一般化能力は何か。

主な発見

データセット	1p	2p	3p	2i	3i	ip	pi	2u	up
FB15k	10.8	255.6	250.0	90.3	64.1	593.8	190.1	27.8	227.0
FB15k-237	13.3	131.4	215.3	69.0	48.9	593.8	257.7	35.6	127.7
NELL995	8.5	56.6	65.3	30.3	15.9	310.0	144.9	14.4	62.5

• Query2box は EPFO クエリ回答タスクで強力なベースラインに対して最大25%の相対的な改善を達成する。
• ボックス埋め込みは自然に回答集合をモデル化し、DNF による結合と析による閉形式の合成を可能にする。
• EPFO クエリを DN F に変換することで、表現力を維持しつつ低次元空間での推論を実行可能にする。
• Query2box は、未見のクエリ構造への強い一般化能力と、欠落した関係の暗黙的な処理を示す。
• FB15k、FB15k-237、NELL995 における実験は、複雑なクエリ構造（例: 2p、3p、2i、3i、ip、pi、2u、up）でベースラインより良い性能を示す。