[論文レビュー] Quaternion Knowledge Graph Embeddings

Shuai Zhang, Yi Tay+2 more|arXiv (Cornell University)|Apr 23, 2019

Advanced Graph Neural Networks参考文献 33被引用数 206

ひとこと要約

QuatE は knowledge graphs のエンティティとリレーションに対して四元数値表現を導入し、超複素空間でのリレーショナル回転を可能にして対称性、非対称性、および反転を捉え、four ベンチマークで最先端の結果を達成します。

ABSTRACT

In this work, we move beyond the traditional complex-valued representations, introducing more expressive hypercomplex representations to model entities and relations for knowledge graph embeddings. More specifically, quaternion embeddings, hypercomplex-valued embeddings with three imaginary components, are utilized to represent entities. Relations are modelled as rotations in the quaternion space. The advantages of the proposed approach are: (1) Latent inter-dependencies (between all components) are aptly captured with Hamilton product, encouraging a more compact interaction between entities and relations; (2) Quaternions enable expressive rotation in four-dimensional space and have more degree of freedom than rotation in complex plane; (3) The proposed framework is a generalization of ComplEx on hypercomplex space while offering better geometrical interpretations, concurrently satisfying the key desiderata of relational representation learning (i.e., modeling symmetry, anti-symmetry and inversion). Experimental results demonstrate that our method achieves state-of-the-art performance on four well-established knowledge graph completion benchmarks.

研究の動機と目的

• 複素数値表現を超える、よりリッチな超複素空間でのエンティティとリレーションのモデリングを動機づける。
• リレーション四元数を用いて頭部エンティティを回転させ、テイルの適合性を評価する四元数ベースのスコアリング関数を提案する。
• 四元数回転が対称性、非対称性、反転を prior models より効果的に捉えることを示す。
• QuatE が複数の KG 完了ベンチマークで最先端の結果を、競争力のあるパラメータ効率とともに達成することを示す。

提案手法

• エンティティを H^{N x k} の四元数埋め込み Q で表現する。
• リレーションを H^{M x k} の単位四元数埋め込み W_r で表現し、拡大縮小効果を除去するよう正規化する。
• ヘッドエンティティを単位リレーション四元数で Hamilton 積により回転させる：Q_h' = Q_h ⊗ W_r^{triangleleft}。
• 四元数内積で三つ組をスコアリングする：φ(h,r,t) = Q_h' · Q_t。
• 観測された三つ組とネガティブ三つ組に対して正則化ロジスティック損失で訓練し、最適化には Adagrad を用いる。
• 四元数ネットワーク向けの初期化と、任意の正規化/正則化バリアントについて議論する。

実験結果

リサーチクエスチョン

• RQ1 Hamilton 積回転を用いた四元数値埋め込みは、標準ベンチマークで複素値 KG 埋め込みを上回ることができるか？
• RQ2 単位四元数正規化と回転四元数形式は、リレーションにおける対称性、非対称性、反転のモデリングを改善するか？
• RQ3 データセット全体で、パラメータ効率と予測精度の点で QuatE は最先端モデルとどのように比較されるか？
• RQ4 QuatE の組成は、固定組成演算子なしで複数のリレーションパターンを捉えるのに十分に柔軟か？

主な発見

• QuatE は four KG ベンチマーク (WN18, FB15K, WN18RR, FB15K-237) で最先端の性能を達成します。
• 四元数回転は複素値回転よりも豊富な相互作用を提供し、対称性、非対称性、および反転のモデリングを改善します。
• リレーション四元数の正規化は重要であり、正規化を取り除くと性能が低下します。
• QuatE はいくつかのベースラインよりもパラメータを少なく抑えつつ強力な結果を示し、N3 や reciprocal learning を組み合わせたバリアントは一部のデータセットでさらに性能を引き上げます。
• このフレームワークは ComplEx を一般化し、特定の簡略化の下で DistMult に退化でき、エルミート積を超える幾何学的解釈を提供します。