[論文レビュー] TorusE: Knowledge Graph Embedding on a Lie Group

Takuma Ebisu, Ryutaro Ichise|arXiv (Cornell University)|Nov 15, 2017

Advanced Graph Neural Networks参考文献 21被引用数 11

ひとこと要約

TorusEは、知識グラフ埋め込みモデルの新規アプローチを提案し、TransEのベクトル空間をコンパクトなリー群であるトーラスに置き換えることで、正則化の必要性を排除しながらも翻訳原理を維持する。エンティティと関係をトーラス上に埋め込むことで、リンク予測タスクにおいて最先端の性能を達成（例：WN18では94.3% HITS@1、FB15Kでは67.4%）し、精度と速度の両面でTransE、DistMult、ComplExを上回る。

ABSTRACT

Knowledge graphs are useful for many artificial intelligence (AI) tasks. However, knowledge graphs often have missing facts. To populate the graphs, knowledge graph embedding models have been developed. Knowledge graph embedding models map entities and relations in a knowledge graph to a vector space and predict unknown triples by scoring candidate triples. TransE is the first translation-based method and it is well known because of its simplicity and efficiency for knowledge graph completion. It employs the principle that the differences between entity embeddings represent their relations. The principle seems very simple, but it can effectively capture the rules of a knowledge graph. However, TransE has a problem with its regularization. TransE forces entity embeddings to be on a sphere in the embedding vector space. This regularization warps the embeddings and makes it difficult for them to fulfill the abovementioned principle. The regularization also affects adversely the accuracies of the link predictions. On the other hand, regularization is important because entity embeddings diverge by negative sampling without it. This paper proposes a novel embedding model, TorusE, to solve the regularization problem. The principle of TransE can be defined on any Lie group. A torus, which is one of the compact Lie groups, can be chosen for the embedding space to avoid regularization. To the best of our knowledge, TorusE is the first model that embeds objects on other than a real or complex vector space, and this paper is the first to formally discuss the problem of regularization of TransE. Our approach outperforms other state-of-the-art approaches such as TransE, DistMult and ComplEx on a standard link prediction task. We show that TorusE is scalable to large-size knowledge graphs and is faster than the original TransE.

研究の動機と目的

• TransEにおける正則化問題に対処し、エンティティ埋め込みの歪みを解消し、リンク予測精度の低下を防ぐ。
• 正則化を必要とせず、TransEの翻訳原理を保持する代替の埋め込み空間を探索する。
• 特にトーラスを含むコンパクトなリー群が、知識グラフ埋め込みに適していることを示す。
• 既存の最先端手法を上回るスケーラブルで高効率なモデルを構築する。

提案手法

• TransEの実数ベクトル空間を、正則化なしに埋め込みを自然に制約できるコンパクトなリー群であるトーラスに置き換える。
• 埋め込み空間におけるモジュロ演算を用いて、TransEの原理 $\mathbf{h} + \mathbf{r} = \mathbf{t}$ をトーラス上の群演算に適応する。
• 関係をトーラス群の要素としてモデル化するため、パラメータ化された回転に基づく変換を採用する。
• Sphere正則化を伴わないが、TransEと同様のマージンベースのランク付け損失関数を用いてモデルを最適化する。
• トーラスのコンパクト性を活用し、学習中の埋め込み発散を防止する。
• 計算スケーラビリティを確保するため、効率的な行列演算とモジュロ算術を採用する。

実験結果

リサーチクエスチョン

• RQ1 TransEのベクトル空間をトーラスのようなコンパクトなリー群に置き換えることで、正則化の必要性が解消されるか？
• RQ2 トーラス上に埋め込むことで、TransEの翻訳原理が保持されるとともに、リンク予測精度が向上するか？
• RQ3 TorusEは、TransE、DistMult、ComplExといった最先端モデルと比較して、性能と速度の面で優れているか？
• RQ4 リー群に基づく埋め込み空間は、モデルの冗長性を低減し、一般化性能を向上させるか？

主な発見

• WN18データセットでは94.3% HITS@1を達成し、ComplEx（93.6%）とTransE（68.1%）を上回った。
• FB15Kでは67.4% HITS@1を達成し、TransE（44.3%）とComplEx（65.4%）を著しく上回った。
• 正則化計算の削除と効率的なモジュロ算術のおかげで、TorusEはTransEよりも高速である。
• 多様な関係において良好な一般化性能を示し、WN18の大多数の関係でMRRスコアがComplExと同等以上に保たれた。
• 高次元のトーラス埋め込み空間は過学習を低減し、より豊かな表現学習を可能にした。
• TorusEは、TransEの原理自体が本質的に欠陥を有するのではなく、正則化の問題に起因することを示した。