[論文レビュー] Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction

Zhanqiu Zhang, Jianyu Cai+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Graph Neural Networks参考文献 29被引用数 27

ひとこと要約

本稿では、エンティティを極座標系にマッピングすることで、階層的意味構造を明示的にモデル化する新規な知識グラフ埋め込みモデル HAKE を提案する。半径（モジュラス）を階層レベルに、角度（位相）を同じレベルのエンティティに割り当てることで、階層的構造を明確に表現する。HAKE はリンク予測ベンチマークにおいて最先端手法を著しく上回り、FB15k で H@10 0.884 を達成し、階層的構造の捉え込みの有効性を示している。

ABSTRACT

Knowledge graph embedding, which aims to represent entities and relations as low dimensional vectors (or matrices, tensors, etc.), has been shown to be a powerful technique for predicting missing links in knowledge graphs. Existing knowledge graph embedding models mainly focus on modeling relation patterns such as symmetry/antisymmetry, inversion, and composition. However, many existing approaches fail to model semantic hierarchies, which are common in real-world applications. To address this challenge, we propose a novel knowledge graph embedding model -- namely, Hierarchy-Aware Knowledge Graph Embedding (HAKE) -- which maps entities into the polar coordinate system. HAKE is inspired by the fact that concentric circles in the polar coordinate system can naturally reflect the hierarchy. Specifically, the radial coordinate aims to model entities at different levels of the hierarchy, and entities with smaller radii are expected to be at higher levels; the angular coordinate aims to distinguish entities at the same level of the hierarchy, and these entities are expected to have roughly the same radii but different angles. Experiments demonstrate that HAKE can effectively model the semantic hierarchies in knowledge graphs, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the link prediction task.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルが意味的階層を捉える能力に制限を受ける問題に対処すること。
• 外部の階層アノテーションを必要とせず、自動的に階層的構造をモデル化する手法を開発すること。
• 異なる階層レベルのエンティティおよび同じレベルのエンティティを明示的に表現することで、リンク予測性能を向上させること。
• 極座標表現（モジュラスと位相）が知識グラフにおける階層的意味を効果的に捉えられることを検証すること。

提案手法

• HAKE はエンティティを極座標系にマッピングし、モジュラス（半径座標）を階層レベルに符号化する。半径が小さいほど高レベルのエンティティを表す。
• 位相（角度座標）は同じ階層レベルに属するエンティティを区別し、類似するモジュラス値を維持したまま、異なる角度を割り当てる。
• モデルは複素数空間におけるエンティティと関係のハダマード積を用い、その後にモジュラス-位相分解を実行することで、階層的および関係的情報を分離する。
• 性能向上を図るため、学習可能なバイアス項を導入し、特に同じレベルのエンティティを区別する際に有効である。
• 損失関数は負例サンプリングとマージンに基づくランク付け目的を組み合わせ、埋め込み空間を最適化する。
• 標準的なリンク予測データセット上で、確率的勾配降下法を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 外部の階層アノテーションに依存せずに、知識グラフ埋め込みモデルが意味的階層を効果的に捉えられるか。
• RQ2 極座標系におけるモジュラスと位相を用いたエンティティのモデル化は、既存手法と比較してリンク予測性能をどのように向上させるか。
• RQ3 モジュラスと位相の各成分が、階層的意味をモデル化するために果たす寄与度はどの程度か。
• RQ4 HAKE におけるモジュラスと位相の組み合わせは、多様なベンチマークデータセットにおいて一貫した性能向上をもたらすか。

主な発見

• FB15k データセットにおいて、HAKE は最高の TKRL バリエーション（0.734）および他の最先端モデルを著しく上回り、H@10 スコア 0.884 を達成した。
• アブレーションスタディの結果、位相成分のみ（pRotatE）がモジュラス成分よりも優れた性能を示したが、両成分を併用した完全な HAKE モデルが最良の性能を達成した。
• バイアス項は YAGO3-10 データセットで H@1 スコアを 4.7% 向上させ、特に同じレベルのエンティティを区別する際の予測精度の微調整に有効であることを示した。
• 可視化結果から、HAKE は埋め込み空間に明確な同心円を形成しており、階層的レベルのモデル化が効果的に行われていることが確認された。
• RotatE は階層的レベルを区別できず、エンティティの埋め込みが 2D 平面上に混合している一方、HAKE は明確にレベルごとにエンティティを分離している。
• WN18RR においても、HAKE は径方向および角度方向の構造的パターンを通じて、ハイパニムィーとメロニミーなどの階層的関係を明確に可視化できた。