[論文レビュー] SimplE Embedding for Link Prediction in Knowledge Graphs

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|Feb 13, 2018

Tensor decomposition and applications被引用数 390

ひとこと要約

SimplE は、知識グラフ補完のための単純で完全に表現力を持つ双線性埋め込みを、 head/tail の CP に似たスコアとそれらの逆数を平均することによって実現し、強力な経験的性能を達成しつつ線形計算量を維持します。

ABSTRACT

Knowledge graphs contain knowledge about the world and provide a structured representation of this knowledge. Current knowledge graphs contain only a small subset of what is true in the world. Link prediction approaches aim at predicting new links for a knowledge graph given the existing links among the entities. Tensor factorization approaches have proved promising for such link prediction problems. Proposed in 1927, Canonical Polyadic (CP) decomposition is among the first tensor factorization approaches. CP generally performs poorly for link prediction as it learns two independent embedding vectors for each entity, whereas they are really tied. We present a simple enhancement of CP (which we call SimplE) to allow the two embeddings of each entity to be learned dependently. The complexity of SimplE grows linearly with the size of embeddings. The embeddings learned through SimplE are interpretable, and certain types of background knowledge can be incorporated into these embeddings through weight tying. We prove SimplE is fully expressive and derive a bound on the size of its embeddings for full expressivity. We show empirically that, despite its simplicity, SimplE outperforms several state-of-the-art tensor factorization techniques. SimplE's code is available on GitHub at https://github.com/Mehran-k/SimplE.

研究の動機と目的

• 不完全な知識グラフにおけるリンク予測の動機づけと、表現力がありつつスケーラブルなテンソル分解モデルの必要性。
• CP における head と tail の埋め込みの独立性を、関係の逆を用いて埋め込みを結びつけ、表現力を向上させることで SimplE を提案する。
• SimplE が完全な表現力を持ち、パラメータ結合を通じて背景知識を取り込むことができることを示す。
• トレーニング、理論的保証、および最先端の双線形モデルに対する経験的比較を提供する。

提案手法

• 各エンティティにつき2つのエンティティ埋め込み（h_e と t_e）を、各関係につき2つの関係埋め込み（v_r と v_{r^{-1}}）を定義する。
• SimplE の類似度を、(h_i, r, t_j) の CP スコアと (h_j, r^{-1}, t_i) の CP スコアの平均として定義する。
• 正例と負例の三つ組に対して正則化されたロジスティック（ソフトプラス）損失を用いた確率的勾配降下法で学習する。
• Bordes らの手順に従って、正例のヘッドまたはテイルを破壊して負例を生成する。
• オプションとして SimplE-ignr を使用でき、テスト時には r^{-1} 項を含まない直接 CP に似たスコアのみを用いる。
• 表現力、重み結合による背景知識の取り込み、競合モデルと比較した時間/パラメータ効率について議論する。

実験結果

リサーチクエスチョン

• RQ1 CP に着想を得た双線形モデルは、関係逆数を用いることで全 Ground Truth に対して完全な表現力を持つことができるか。
• RQ2 SimplE は、表現力、背景知識の取り込み、効率性の観点で、他のテンソル分解法やニューラルアプローチとどのように比較されるか。
• RQ3 過剰適合を避けつつ頑健なリンク予測性能を得るために、どの損失と学習手順が有効か。
• RQ4 対称性や反対称性、反転といった背景知識を、パラメータ結合を通じて SimplE にどのように取り込むことができるか。

主な発見

• SimplE は完全な表現力を持つ。Ground Truth を表現する埋め込みサイズの境界が存在する。
• v_{r^{-1}} を導入することで、head と tail の埋め込み間の依存関係を可能にし、CP の独立性の問題に対処する。
• 背景知識（対称性・反対称性・反転）は、関係パラメータを結合させることによりエンコードでき、制約付き推論を可能にする。
• SimplE は埋め込みサイズに対して線形の時間計算量を持ち、SimplE-ignr は計算を削減しつつ競合性能を維持する。
• 経験的比較で、SimplE は標準的なベンチマーク上でいくつかの最先端のテンソル分解ベースラインを上回る。