[論文レビュー] QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings

Dai Quoc Nguyen, Thanh Vu+2 more|arXiv (Cornell University)|Sep 26, 2020

Advanced Graph Neural Networks被引用数 4

ひとこと要約

QuatREは、ヘッドエンティティとテールエンティティにハミルトニアン積を用いて2つの関係に依存するクォータニオン回転を適用することにより、エンティティ-関係相関を向上させる、知識グラフ埋め込みモデルを提案する。WN18RR や FB15k-237 といった標準ベンチマークで最先端の性能を達成し、QuatE や RotatE といった先行モデルを上回っている。

ABSTRACT

We propose a simple yet effective embedding model to learn quaternion embeddings for entities and relations in knowledge graphs. Our model aims to enhance correlations between head and tail entities given a relation within the Quaternion space with Hamilton product. The model achieves this goal by further associating each relation with two relation-aware rotations, which are used to rotate quaternion embeddings of the head and tail entities, respectively. Experimental results show that our proposed model produces state-of-the-art performances on well-known benchmark datasets for knowledge graph completion. Our code is available at: \url{https://github.com/daiquocnguyen/QuatRE}.

研究の動機と目的

• 知識グラフにおけるヘッドエンティティとテールエンティティの強い相関を捉えることに失敗している既存のハイパーコンplex埋め込みモデルの限界を是正すること。
• 大規模な関係固有の行列に依存する翻訳ベースのモデルの計算複雑性を低減すること。
• ヘッドエンティティとテールエンティティの両方に対して関係に依存する回転を導入することで、クォータニオン埋め込みの表現力の向上を図ること。
• 多様な関係タイプにわたる一般化性能を向上させた、クォータニオン空間を用いた知識グラフ補完のための新たな強力なベースラインを確立すること。

提案手法

• QuatREは、ヘッドエンティティとテールエンティティ、関係をすべてハミルトニアン空間内の正規化クォータニオンとしてモデル化し、各埋め込みに4つの実数成分を割り当てる。
• ヘッドエンティティとテールエンティティの埋め込みにそれぞれ、$\boldsymbol{\mathsf{v}}_{r,1}$ および $\boldsymbol{\mathsf{v}}_{r,2}$ という2つの関係に依存する回転ベクトルをハミルトニアン積を用いて適用する。
• 三つ組スコアは、回転後のヘッドエンティティ埋め込みと回転後のテールエンティティ埋め込みの内積として計算され、関係埋め込みがスケーリング要因として機能する。
• 安定した最適化と一般化の向上を図るため、正規化クォータニオンベクトル ($\boldsymbol{v}^{\triangleleft}$) を使用する。
• クォータニオン乗算の非可換性を活用して、非対称関係をより効果的にモデリングする。
• パラメータの多い翻訳行列を避けるために、関係ごとに2つのコンactな回転ベクトルに置き換えることで、モデルの複雑さを低減する。

実験結果

リサーチクエスチョン

• RQ1 関係に依存するクォータニオン回転は、知識グラフにおけるヘッドエンティティとテールエンティティの相関モデリングを改善できるか？
• RQ2 ヘッドエンティティとテールエンティティにそれぞれ異なる2つの回転ベクトルを導入することで、対称的または単一回転アプローチに比べて性能が向上するか？
• RQ3 より単純な回転ベースのメカニズムは、パラメータ数が少ないものの、複雑な翻訳ベースのモデル（例：TransR）を上回ることができるか？
• RQ4 QuatREは、既存のモデルと比較して、さまざまな関係タイプ（1-1、1-M、M-1、M-M）においてどのように性能を発揮するか？
• RQ5 回転メカニズムの個々の構成要素が、全体の性能にどの程度寄与しているか？

主な発見

• WN18RRベンチマークでは、MRRが0.493、Hits@10が59.2を達成し、QuatE（MRR: 0.488）や他のベースラインを上回る最先端の性能を発揮した。
• FB15k-237では、MRRが0.367、Hits@10が56.3を達成し、QuatE（MRR: 0.348）や他の最近のモデルを上回った。
• 関係 'member_of_domain_region' において、MRRをQuatEの0.193から0.364に向上させ、複雑な多対多関係において顕著な向上を示した。
• アブレーションスタディの結果、両方の回転成分（$\boldsymbol{\mathsf{v}}_{r,1}$ および $\boldsymbol{\mathsf{v}}_{r,2}$）が不可欠であることが確認され、いずれかを削除すると性能が低下した。
• WN18RRにおける可視化では、QuatREが特に 'synset_domain_topic_of' や 'instance_hypernym' のような関係において、より一貫性があり相関の強いエンティティクラスタを学習していることが示された。
• 1-1、1-M、M-1、M-Mの全関係カテゴリにおいて、QuatREは強力な一般化性能を維持しており、多様な関係パターンにわたる耐性が確認された。