[論文レビュー] QuatDE: Dynamic Quaternion Embedding for Knowledge Graph Completion

Haipeng Gao, Kun Yang+4 more|arXiv (Cornell University)|May 19, 2021

Advanced Graph Neural Networks参考文献 27被引用数 8

ひとこと要約

QuatDEは、クォータニオン空間における関係固有の適応的マッピングベクトルを用いて特徴の相互作用を強化する動的クォータニオン埋め込みモデルを提案する。ハミルトン積を活用してエンティティ表現を動的に調整することで、QuatEに比べWN18で平均逆順位（MR）を26%向上、WN18RRで15%向上し、最先端の性能を達成した。

ABSTRACT

Knowledge graph embedding has been an active research topic for knowledge base completion (KGC), with progressive improvement from the initial TransE, TransH, RotatE et al to the current state-of-the-art QuatE. However, QuatE ignores the multi-faceted nature of the entity and the complexity of the relation, only using rigorous operation on quaternion space to capture the interaction between entitiy pair and relation, leaving opportunities for better knowledge representation which will finally help KGC. In this paper, we propose a novel model, QuatDE, with a dynamic mapping strategy to explicitly capture the variety of relational patterns and separate different semantic information of the entity, using transition vectors to adjust the point position of the entity embedding vectors in the quaternion space via Hamilton product, enhancing the feature interaction capability between elements of the triplet. Experiment results show QuatDE achieves state-of-the-art performance on three well-established knowledge graph completion benchmarks. In particular, the MR evaluation has relatively increased by 26% on WN18 and 15% on WN18RR, which proves the generalization of QuatDE.

研究の動機と目的

• QuatEのような既存のクォータニオンベースのモデルにおける表現能力の制限と弱い特徴相互作用を解決すること。
• 主語・目的語の役割に応じてエンティティ表現を動的に調整することで、1対多、多対1、多対多といった多様な関係パターンを明示的にモデル化すること。
• クォータニオン空間における動的マッピング戦略を通じて、エンティティと関係の間の意味的分離と相互作用を強化すること。
• 特に低次元設定下でも一般化性能と性能を向上させること。
• クォータニオン値をとるニューラルネットワークと動的適応を組み合わせることの優位性を示すこと。

提案手法

• 主語移動ベクトル、目的語移動ベクトル、関係移動ベクトルの3つの追加クォータニオンベクトルを用いた動的マッピング戦略を導入する。
• ハミルトン積を用いて、特定の関係と役割（主語または目的語）に応じてクォータニオン空間におけるエンティティ埋め込み位置を動的に調整する。
• 静的クォータニオン埋め込みよりも、三元組の相互作用をより効果的にモデル化できる動的マッピングを組み込んだスコア関数を採用する。
• 負例サンプリングとマージンランクに基づく損失関数を用いて、動的表現を最適化する。
• 表現力と一般化性能を向上させるために、クォータニオン値をとるニューラルネットワーク（QNN）と互換性を持つモデルを設計する。
• アブレーションスタディでは埋め込み次元を50に固定し、QuatEと比較してパラメータ数を削減しても優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 クォータニオン空間における動的マッピング戦略は、知識グラフ補完におけるエンティティおよび関係の表現を向上させることができるか？
• RQ2 適応的埋め込みを用いて関係パターン（1対1、1対多など）を明示的にモデル化することで、一般化性能と性能が向上するか？
• RQ3 動的クォータニオン変換を活用することで、パラメータ数を減らしても最先端の結果を達成できるか？
• RQ4 静的クォータニオンモデル（QuatE）と比較して、動的マッピング戦略はリンク予測性能においてどのように差をつけるか？
• RQ5 WN18、WN18RR、FB15K-237のような多様な知識グラフベンチマークにおいて、モデルの一般化能力はどの程度であるか？

主な発見

• WN18ではQuatEに比べて平均逆順位（MR）が26%相対的に向上し、MRは9.53から3.69に低下した。
• WN18RRではQuatEに比べてMRが15%向上し、/location/hud_county_place/place関係においてMRが11.8から10.6に改善した。
• FB15K-237では1対1関係でHit@10が0.91、n対n関係で0.88に達し、すべての関係タイプでQuatEを上回った。
• 50次元の埋め込みのみで、Hit@10が0.959に達し、QuatEが最適な300次元で達成した0.959のスコアを上回った。
• 次元分析の結果、WN18ではK=100、FB15K-237ではK=300で性能が安定し、それ以上の次元では収益が減少する傾向を示した。
• モデルは強力な一般化性能を示し、すべてのベンチマークと関係タイプでMRRとHit@10がQuatEを一貫して上回った。