[論文レビュー] RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

Zhiqing Sun, Zhihong Deng+2 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Graph Neural Networks参考文献 28被引用数 742

ひとこと要約

RotatE は複素空間で関係を回転として表現し、対称性/非対称性、反転、合成パターンのモデリングを可能にする。自己対向的ネガティブサンプリングを用い、複数のベンチマークで最先端のリンク予測を達成する。

ABSTRACT

We study the problem of learning representations of entities and relations in\nknowledge graphs for predicting missing links. The success of such a task\nheavily relies on the ability of modeling and inferring the patterns of (or\nbetween) the relations. In this paper, we present a new approach for knowledge\ngraph embedding called RotatE, which is able to model and infer various\nrelation patterns including: symmetry/antisymmetry, inversion, and composition.\nSpecifically, the RotatE model defines each relation as a rotation from the\nsource entity to the target entity in the complex vector space. In addition, we\npropose a novel self-adversarial negative sampling technique for efficiently\nand effectively training the RotatE model. Experimental results on multiple\nbenchmark knowledge graphs show that the proposed RotatE model is not only\nscalable, but also able to infer and model various relation patterns and\nsignificantly outperform existing state-of-the-art models for link prediction.\n

研究の動機と目的

• 対称性/非対称性、反転、合成といった複数の関係パターンを推定できるロバストな知識グラフ埋め込みを動機づける。
• エンティティを複素ベクトルへ、関係を回転へ写像する、シンプルだが表現力のあるモデルを提案する。
• 大規模なベンチマークグラフでのスケーラビリティと有効性を実証し、さまざまなパターンにおいて本モデルが先行研究より優れていることを示す。

提案手法

• エンティティと関係を複素ベクトル ${\\mathbf{h}}, {\\mathbf{r}}, {\\mathbf{t}}$ として埋め込み、$|r_i|=1$（単位モジュラス）とする。
• 各関係を要素ごとの回転として定義する：${\\mathbf{t}} = {\\mathbf{h}} \\circ {\\mathbf{r}}$ で、$d_r({\\mathbf{h}},{\\mathbf{t}}) = \\|{\\mathbf{h}} \\circ {\\mathbf{r}} - {\\mathbf{t}}\\|$。
• 複素回転の性質（例えば、反演の共役関係、合成の位相加算など）を通じて、対称性/非対称性、反転、合成パターンをモデル化する。
• 現在のモデルスコアで情報量の多いネガティブ例に重みを付与する自己対戦的ネガティブサンプリングを導入し、訓練の効率と有効性を向上させる。
• マージンベースの距離損失とネガティブサンプリング損失（シグmoidを用いる）で最適化し、標準的なKGE実践に従う。
• グラフサイズに対して線形時間/線形メモリ複雑度でスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 RotatE は知識グラフにおいて、対称性/非対称性、反転、合成のパターンを共同でモデル化・推定できるか？
• RQ2 複素空間で関係を回転として埋め込むことは、標準的なベンチマークで優れたリンク予測性能を提供するか？
• RQ3 自己対戦的ネガティブサンプリングは大規模な知識グラフとさまざまな関係パターンで有効か？

主な発見

• RotatE は FB15k, WN18, FB15k-237, WN18RR におけるリンク予測で最先端モデルを著しく上回る。
• Countries での AUC-PR で優れ、合成に重点を置くタスクで強力な結果を示し、パターン推定の有効性を示唆する。
• 本モデルは単位モジュラス回転を介して対称性を暗黙的に回復でき、共役埋め込みを介して関係の逆を得ることができ、理論的主張を確認する。
• 自己対戦的ネガティブサンプリングは一様サンプリングや代替的なGANベースのアプローチより良い結果をもたらす。
• 明確な合成パターンを持つデータセット（例：FB15k-237、WN18RR）では、モジュラス情報の含有が RotatE のベースラインに対する優位性の決定的要因となる。
• RotatE はグラフサイズに対して線形の時間/メモリのフットプリントでスケーラブルのままである。