[論文レビュー] HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion

Prodromos Kolyvakis, Alexandros Kalousis+1 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Graph Neural Networks参考文献 74被引用数 20

ひとこと要約

HyperKGは、Poincaré球空間を活用して知識ベース補完の性能を向上させる双曲的知識グラフ埋め込みモデルを提案する。特に階層的構造において優れた性能を発揮する。関係を双曲空間内の平行移動としてモデル化し、凸関係領域を強制することで、WN18RR や FB15k-237 といったベンチマークデータセット上で双線形モデルに近い性能を達成し、翻訳モデルとの性能格差を顕著に縮小する。

ABSTRACT

Learning embeddings of entities and relations existing in knowledge bases allows the discovery of hidden patterns in data. In this work, we examine the geometrical space's contribution to the task of knowledge base completion. We focus on the family of translational models, whose performance has been lagging, and propose a model, dubbed HyperKG, which exploits the hyperbolic space in order to better reflect the topological properties of knowledge bases. We investigate the type of regularities that our model can capture and we show that it is a prominent candidate for effectively representing a subset of Datalog rules. We empirically show, using a variety of link prediction datasets, that hyperbolic space allows to narrow down significantly the performance gap between translational and bilinear models.

研究の動機と目的

• 翻訳型知識グラフ埋め込みモデルの性能を向上させること。これは、知識ベース補完において双線形モデルに劣っていたためである。
• 双曲幾何が、特に階層的構造を含む知識ベースのトポロジー的性質をよりよく捉えられるかどうかを調査すること。
• 埋め込み空間における凸関係領域を保証することで、準鎖状Datalog規則の効果的表現を可能にすること。
• 幾何的強化を通じて、翻訳モデルと双線形モデルの間の性能格差を埋めること。

提案手法

• HyperKGは、階層的データに自然に適合するため、双曲空間のPoincaré球モデルを用いてエンティティと関係を埋め込む。
• 関係を双曲空間内でのベクトル平行移動としてモデル化し、事実の妥当性は、合成エンティティ表現と関係ベクトル間の双曲距離によって測定される。
• 数値的安定性と幾何的忠実性を確保するため、埋め込みをPoincaré球内に制約する新しい正則化スキームを採用する。
• 合成ベクトル表現にMöbius加法を用いることで、合成過程でも双曲幾何を保存する。
• 関係領域が凸であることを証明し、準鎖状Datalog規則の正確な表現を可能にする。
• 負例サンプリングを主語および目的語の不正な置き換えを用い、ハイパーパrameterは検証セット上でグリッドサーチにより調整する。

実験結果

リサーチクエスチョン

• RQ1 双曲幾何は、知識ベース補完における翻訳型知識グラフ埋め込みモデルの性能を向上させられるか？
• RQ2 Poincaré球モデルは、ユークリッド空間と比較して、知識ベースの階層的およびスケールフリーなトポロジー的性質をよりよく捉えられるか？
• RQ3 凸関係領域のおかげで、HyperKGは準鎖状Datalog規則を効果的に表現できるか？
• RQ4 双曲幾何は、翻訳モデルと双線形モデルの間の性能格差をどの程度縮小できるか？
• RQ5 提案された正則化スキームは、安定的かつ意味のある双曲埋め込みを維持するために有効であるか？

主な発見

• HyperKGは、WN18RR および FB15k-237 で最先端の性能を達成し、それぞれMRRスコアが0.864および0.372を記録。双線形モデルとの格差が顕著に縮小された。
• WN18RRではMRRが0.864を達成し、TransE（0.831）およびComplEx（0.859）を上回り、双曲空間内での優れた一般化性能を示した。
• Möbius加法を用いたモデルは、標準的なHyperKGと同等の性能を達成しており、合成演算に対する頑健性を示した。
• アブレーションスタディの結果、正則化を除去すると性能が低下し、幾何的整合性を維持する上でその重要性が裏付けられた。
• 凸関係領域のおかげで、HyperKGは準鎖状Datalog規則を効果的にモデル化でき、導出された事実における論理的整合性を保証した。
• WDおよびWD++では、それぞれMRRが0.932および0.928を達成し、複雑で階層的な知識ベースにおいて優れた性能を示した。