[論文レビュー] Knowledge Association with Hyperbolic Knowledge Graph Embeddings

Zequn Sun, Muhao Chen+4 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Graph Neural Networks参考文献 24被引用数 9

ひとこと要約

この論文では、ハイパーボリック関係的グラフニューラルネットワークとハイパーボリック変換を用いて、低次元空間におけるマルチスケールの知識関連性を捉えるハイパーボリック知識グラフ埋め込み手法HyperKAを提案する。エンティティアライメントおよびタイプ推論タスクにおいて、埋め込み次元が10–75ですらも、最先端の性能を達成し、従来手法を上回りながらメモリとパラメータの複雑さを低減する。

ABSTRACT

Capturing associations for knowledge graphs (KGs) through entity alignment, entity type inference and other related tasks benefits NLP applications with comprehensive knowledge representations. Recent related methods built on Euclidean embeddings are challenged by the hierarchical structures and different scales of KGs. They also depend on high embedding dimensions to realize enough expressiveness. Differently, we explore with low-dimensional hyperbolic embeddings for knowledge association. We propose a hyperbolic relational graph neural network for KG embedding and capture knowledge associations with a hyperbolic transformation. Extensive experiments on entity alignment and type inference demonstrate the effectiveness and efficiency of our method.

研究の動機と目的

• ユークリッド埋め込みの限界を是正し、知識グラフにおける階層構造とスケールのばらつきを捉えること。
• 低次元埋め込み次元で高い表現力を実現することで、パラメータの複雑さとメモリ消費量を低減すること。
• 異種のKG間で多様なスケールの関係性をモデル化することで、エンティティアライメントおよびタイプ推論といった知識関連タスクを改善すること。
• ハイパーボリック空間の指数的成長特性を活用し、階層的かつスケールが異なる知識構造のより良い表現を実現すること。
• クロス-KG関連タスクのための、ハイパーボリック埋め込みと変換を統合的に学習するフレームワークを構築すること。

提案手法

• HyperKAは、エンティティおよびコンセプトを符号化するために入力層でハイパーボリック平行移動埋め込みを用いるハイパーボリック関係的グラフニューラルネットワーク（GNN）を採用する。
• 複数のハイパーボリックグラフ畳み込み層をスタックして、近隣情報の集約を行い、ハイパーボリック空間における最終的なエンティティおよびコンセプト表現を生成する。
• 埋め込み空間間の可学習なハイパーボリック変換を適用し、同一エンティティ（エンティティアライメント）やインスタンス関係（タイプ推論）といった知識関連性をモデル化する。
• 同等のエンティティを一致させ、正しいタイプを予測するため、対照的学習の目的関数を用いてエンドツーエンドでモデルを訓練する。
• ハイパーボリック幾何は、半径に伴い体積が指数関数的に増加する性質を有するため、深さのある木構造やスケールの差を効率的にモデル化できる。
• エンティティとコンセプトに異なる埋め込み次元（例：n=75, m=15）をサポートすることで、大規模なエンティティレベルと小規模なコンセプトレベルのKGを効率的に表現できる。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド手法と比較して、ハイパーボリック幾何は階層的かつスケールが異なる知識グラフの表現を改善できるか？
• RQ2 低次元のハイパーボリック埋め込みは、メモリとパラメータの複雑さを低減しつつ、知識関連タスクで競争力のある性能を達成できるか？
• RQ3 ハイパーボリック変換は、異なるKG間のエンティティとコンセプトの間で多様なスケールの関連性を効果的に捉えられるか？
• RQ4 低次元設定下で、HyperKAはエンティティアライメントおよびタイプ推論において最先端の手法を上回るか？
• RQ5 異なるコンセプトタイプ間の構造的ギャップを維持しながら、関連するエンティティをクラスタリングできるか？

主な発見

• エンティティアライメントタスクにおいて、HyperKAは、次元が50であっても、先行手法よりH@1で0.14以上優れたSOTA性能を達成する。
• タイプ推論において、HyperKA（75,15）はDB111K-174でH@1 = 0.778を達成し、JOIEを0.022上回り、顕著に低い次元で実現している。
• HyperKA（150,30）は、すべてのデータセットでH@1およびMRRの最高性能を達成しており、300,50次元でもさらなる向上が観察されない。
• 最小次元10でも、HyperKAは競争力ある性能を維持しており、低容量でも優れた表現力を持つことが示された。
• 可視化により、異なるコンセプト（例：Film対Album）に関連するエンティティクラスタが明確に分離されていることが確認され、構造の適切な保存が図られている。
• 同様の低次元（例：75,15）を用いたベースライン手法は顕著に劣り、MTransEではH@1が≤0.357にとどまるなど、HyperKAの優位性が顕著に示された。