[論文レビュー] RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

Zhiqing Sun, Zhihong Deng+2 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Graph Neural Networks被引用数 771

ひとこと要約

RotatE は複素空間で関係を回転としてモデル化し、対称性/反対称性、反転、および組成パターンの推論を可能にします。複数の KG ベンチマークで最先端を凌駕し、自己対向型のネガティブサンプリングを導入します。

ABSTRACT

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

研究の動機と目的

• 既存の KG 埋め込みモデルがすべての主要な関係パターン（対称性/反対称性、反転、組成）を捉えることにおける制限を動機付け、解決する。
• 関係を複素数ベクトル空間の回転としてモデリングする RotatE を提案し、複数の関係パターンを推論できる能力を実証する。
• RotatE が大規模な KG に対してスケーラブルであり、標準ベンチマークで最先端のベースラインを上回ることを示す。

提案手法

• エンティティと関係を複素数空間に埋め込み、各関係を要素ごとの回転として定義する： t = h ∘ r with |r_i| = 1 for all i.
• 距離ベースのスコア d_r(h,t) = || h ∘ r − t || を用いて三つ組を評価する。
• f_r(h′,t′) に比例する温度ベースの分布で負サンプルを重みづけし、RotatE の訓練を効率化する自己対向型負サンプリングを活用する。
• RotatE が対称性/反対称性、反転、組成パターンをモデリングできることを示す理論的補題を提供する。
• Adam で訓練し、ハイパーパラメータをグリッドサーチし、複数のベンチマークでフィルタ設定の下で評価する。

実験結果

リサーチクエスチョン

• RQ1 RotatE は対称性/反対称性、反転、および組成パターンを同時にモデリング・推論できるか。
• RQ2 複素空間で埋め込みを回転させることは、標準 KG ベンチマーク全体で既存モデルよりリンク予測を改善するか。
• RQ3 自己対向型負サンプリングが訓練効率と予測性能に与える影響は何か。
• RQ4 FB15k-237、Countries のような組成パターンを stress テストするデータセットで、RotatE は他のモデルと比較してどの程度性能を発揮するか。

主な発見

• RotatE はリンク予測において FB15k、WN18、FB15k-237、WN18RR で最先端モデルを上回る。
• 組成パターンに重点を置いたデータセット（FB15k-237、WN18RR）で、ベースラインと比較して大幅に改善を示し、組成モデリングにモジュラス情報が重要である。
• 自己対向型負サンプリングが一様サンプリングおよび KBGAN ベースラインより性能を向上させる。
• 経験的分析により RotatE は r_i ∈ {±1} による対称性を暗黙的に符号付けでき、共役埋め込みを用いることで逆関係を表現できることが理論的主張を支持する。
• Countries データセットでは、より長い組成を要するタスクで特に競合力があるか優れる結果を示す。