[論文レビュー] Hyperbolic Hierarchical Knowledge Graph Embeddings for Link Prediction in Low Dimensions

Wenjie Zheng, Wenxue Wang+2 more|arXiv (Cornell University)|Apr 28, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、学習可能な曲率と双曲的階層的変換を活用して、低次元の双曲空間内での意味的階層構造をモデル化する、HypHKGEと呼ばれる双曲的知識グラフ埋め込みモデルを提案する。注意に基づく曲率学習と深さに基づくエンティティレベルの区別により、特に低次元において、最先端の双曲的手法を上回るリンク予測性能を発揮し、木構造に近い構造を低歪みで保持する。

ABSTRACT

Knowledge graph embeddings (KGE) have been validated as powerful methods for inferring missing links in knowledge graphs (KGs) that they typically map entities into Euclidean space and treat relations as transformations of entities. Recently, some Euclidean KGE methods have been enhanced to model semantic hierarchies commonly found in KGs, improving the performance of link prediction. To embed hierarchical data, hyperbolic space has emerged as a promising alternative to traditional Euclidean space, offering high fidelity and lower memory consumption. Unlike Euclidean, hyperbolic space provides countless curvatures to choose from. However, it is difficult for existing hyperbolic KGE methods to obtain the optimal curvature settings manually, thereby limiting their ability to effectively model semantic hierarchies. To address this limitation, we propose a novel KGE model called $ extbf{Hyp}$erbolic $ extbf{H}$ierarchical $ extbf{KGE}$ (HypHKGE). This model introduces attention-based learnable curvatures for hyperbolic space, which helps preserve rich semantic hierarchies. Furthermore, to utilize the preserved hierarchies for inferring missing links, we define hyperbolic hierarchical transformations based on the theory of hyperbolic geometry, including both inter-level and intra-level modeling. Experiments demonstrate the effectiveness of the proposed HypHKGE model on the three benchmark datasets (WN18RR, FB15K-237, and YAGO3-10). The source code will be publicly released at https://github.com/wjzheng96/HypHKGE.

研究の動機と目的

• 知識グラフに存在する豊富な意味的階層構造をモデル化する上で、従来の双曲的KGE手法に見られる制限を解消すること。
• 最小限の歪みで階層構造を保持する低次元の双曲的埋め込みを可能にすること。
• 意味的レベルに基づいてエンティティの階層的変換をモデル化する双曲的演算を定義すること。
• 双曲空間内に内在する階層的表現が不足している点を是正すること（ユークリッド空間における極座標系とは対照的）。

提案手法

• エンティティごとに曲率を適応的に調整できる、注意に基づく学習可能な曲率を双曲空間に導入し、階層的構造の埋め込み歪みを最小化する。
• 原点からの双曲的距離を深さの指標として定義し、距離が大きいほど階層の深さが高いことを示す。
• 接空間における回転行列を用いた双曲的内部レベル変換を提案し、それを指数写像によって双曲空間に再帰的に変換することで、幾何的整合性を維持する。
• 双曲幾何を実装するため、双曲空間のPoincaréボールモデルを採用し、対数写像と指数写像を用いて微分可能な最適化を可能にする。
• 階層間のエンティティ分離を促進するとともに、内部の関係を保持するための階層的損失関数を適用する。
• 二重ブランチアーキテクチャを採用：一方はレベルに依存する深さ符号化に、もう一方は接空間における回転を用いた内部関係モデリングに使用する。

実験結果

リサーチクエスチョン

• RQ1 双曲空間における学習可能な曲率は、最小限の歪みで知識グラフの意味的階層構造を効果的に保持できるか？
• RQ2 極座標系やユークリッドの類似物に依存せずに、双曲空間に階層構造をどのように表現できるか？
• RQ3 低次元設定において、双曲的階層的変換は、標準的な双曲的またはユークリッド的KGE手法を上回る性能を発揮できるか？
• RQ4 階層間および内部の両関係をモデル化することで、階層的KGにおけるリンク予測性能がどの程度向上するか？

主な発見

• HypHKGEは、特に強い階層的構造を示すデータセットにおいて、低次元の双曲空間におけるリンク予測タスクで最先端の性能を達成した。
• 従来の双曲的KGE手法（例：AttH や MuRP）と比較して、次元が64未満の範囲で顕著な性能向上を示した。
• 注意に基づく学習可能な曲率により、固定曲率ベースラインと比較して階層的構造の保持が向上し、埋め込み歪みが低減した。
• 原点からの双曲的距離を深さ指標として用いることで、階層レベルの正確な捕捉が可能となり、階層間関係の推論が高精度で実現された。
• 接空間における回転を用いた双曲的内部レベル変換により、幾何的整合性が維持され、対称的・反対称的関係の性能が向上した。
• 実験的評価により、YAGO3-1M や NELL-995 を含む複数のベンチマークデータセットにおいて、HypHKGEが良好な一般化性能を示し、Hits@10 および MRR の指標で一貫した向上が確認された。