[論文レビュー] Composing Knowledge Graph Embeddings via Word Embeddings

Lianbo Ma, Peng Sun+2 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Graph Neural Networks参考文献 27被引用数 8

ひとこと要約

本論文では、エンティティおよび関係を表すために事前学習済みの単語埋め込みを活用することで、未知の（未学習の）エンティティおよび関係に対する効果的な推論を可能にする、新しい手法TransWを提案する。単語埋め込み空間から知識埋め込み空間へのマッピングを学習することにより、リンク予測および三元組分類において最先端の性能を達成し、特にFB13 や FB15K のようなテキスト的関係が豊富な知識グラフにおいて顕著な効果を示す。

ABSTRACT

Learning knowledge graph embedding from an existing knowledge graph is very important to knowledge graph completion. For a fact $(h,r,t)$ with the head entity $h$ having a relation $r$ with the tail entity $t$, the current approaches aim to learn low dimensional representations $(\mathbf{h},\mathbf{r},\mathbf{t})$, each of which corresponds to the elements in $(h, r, t)$, respectively. As $(\mathbf{h},\mathbf{r},\mathbf{t})$ is learned from the existing facts within a knowledge graph, these representations can not be used to detect unknown facts (if the entities or relations never occur in the knowledge graph). This paper proposes a new approach called TransW, aiming to go beyond the current work by composing knowledge graph embeddings using word embeddings. Given the fact that an entity or a relation contains one or more words (quite often), it is sensible to learn a mapping function from word embedding spaces to knowledge embedding spaces, which shows how entities are constructed using human words. More importantly, composing knowledge embeddings using word embeddings makes it possible to deal with the emerging new facts (either new entities or relations). Experimental results using three public datasets show the consistency and outperformance of the proposed TransW.

研究の動機と目的

• 学習データに存在しない未知のエンティティおよび関係を処理できない既存の知識グラフ埋め込みモデルの限界を克服すること。
• 複数の単語から構成されるエンティティおよび関係を、単語埋め込みの意味的豊かさを活用して表現すること。
• 未知の事実に一般化できるように、単語埋め込み空間から知識埋め込み空間へのマッピング関数を開発すること。
• 構成する単語に基づいてエンティティおよび関係の埋め込みを合成することで、新規エンティティおよび関係に対するゼロショット推論を可能にすること。
• 単語埋め込みからの語彙的および意味的情報を統合することで、知識グラフ補完の性能を向上させること。

提案手法

• 各エンティティおよび関係を単語のシーケンスとして表現し、事前学習済みの単語埋め込みを用いてその意味的意味を符号化する。
• 単語埋め込み空間 $ \mathbb{W} $ から知識埋め込み空間 $ \mathbb{K} $ への微分可能なマッピング関数 $ g: \mathbb{W} \rightarrow \mathbb{K} $ を学習する。ここで $ \mathbb{W} $ および $ \mathbb{K} $ は低次元のベクトル空間である。
• 学習済みのマッピング関数を用いて、三元組 $ (h, r, t) $ の知識グラフ埋め込みを、頭部エンティティ、関係、および末尾エンティティの単語埋め込みの集約によって合成する。
• 埋め込みが単語レベルの表現から導出される点を除き、TransEのスコア関数 $ f_r(\mathbf{h}, \mathbf{t}) = \| \mathbf{h} + \mathbf{r} - \mathbf{t} \|_2^2 $ を適応する。
• 既知の三元組におけるランク付け損失を最小化するために、ネガティブサンプリングおよび確率的勾配降下法を用いてモデルをエンドツーエンドで訓練する。
• エンティティおよび関係の名前を単語埋め込み層の入力として使用することで、テキスト形式に基づいた新規エンティティまたは関係に対するゼロショット推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 未知のエンティティおよび関係の知識グラフ埋め込みを、単語埋め込みで効果的に合成できるか？
• RQ2 単語埋め込みからの語彙的意味情報を統合することで、知識グラフ補完タスクにおける一般化性能が向上するか？
• RQ3 提案されたTransWモデルは、既存の最先端モデルと比較して、リンク予測および三元組分類で優れた性能を示すか？
• RQ4 単語埋め込みの質および意味的豊かさが、TransWの性能にどの程度依存するか？
• RQ5 頭部エンティティ、末尾エンティティ、または関係のいずれかが元の知識グラフに存在しない新規事実に対しても、モデルは一般化できるか？

主な発見

• FB13 データセットにおいて、TransWはHITS@10スコア47.93を達成し、TransE（32.65）およびTransR（26.83）を大きく上回り、優れたリンク予測性能を示している。
• FB15K データセットでは、TransWがHITS@10スコア35.94を達成し、TransD（35.22）およびTransH（25.80）を上回り、大規模知識グラフにおいても強力な一般化性能を示している。
• 三元組分類において、FB13では87.5％の精度を達成し、主なベースライン（TransD：87.7％、ManifoldE：87.2％）を上回り、最高性能モデルとの差はわずか0.2％にとどまる。
• WN11では、三元組分類で81.1％の精度を達成し、TransE（75.7％）およびComplex（60.0％）を上回り、単純な語彙的知識グラフに対しても有効であることが示された。
• 関係の意味的表現が豊富なデータセット（例：FB13）では、関係が複数語で構成され、意味的に類似している場合に、単語レベルの合成が意味的一般化を強化することが顕著に観察された。
• 単語埋め込みから構成するエンティティおよび関係の埋め込みにより、未知のエンティティおよび関係に対するゼロショット能力を示し、本手法の核心仮説を裏付けた。