[論文レビュー] ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion

Aleksandar Pavlović, Emanuel Sallinger|arXiv (Cornell University)|Jun 8, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

本稿では、エンティティを2次元の仮想三重空間 R^{2d} 内の点として、関係をハイパーパarレログラムとして表現する、新たな知識グラフ埋め込みモデル ExpressivE を提案する。このアプローチにより、完全な表現力と直感的な幾何的解釈を有する推論パターンの表現が可能となる。本モデルは、一般の合成と階層の両方を同時に捉える能力を有しており、これまでは同時達成が不可能であった。WN18RR では最先端の性能を達成し、FB15k-237 では競争力のある結果を示した。

ABSTRACT

Knowledge graphs are inherently incomplete. Therefore substantial research has been directed toward knowledge graph completion (KGC), i.e., predicting missing triples from the information represented in the knowledge graph (KG). KG embedding models (KGEs) have yielded promising results for KGC, yet any current KGE is incapable of: (1) fully capturing vital inference patterns (e.g., composition), (2) capturing prominent patterns jointly (e.g., hierarchy and composition), and (3) providing an intuitive interpretation of captured patterns. In this work, we propose ExpressivE, a fully expressive spatio-functional KGE that solves all these challenges simultaneously. ExpressivE embeds pairs of entities as points and relations as hyper-parallelograms in the virtual triple space $\mathbb{R}^{2d}$. This model design allows ExpressivE not only to capture a rich set of inference patterns jointly but additionally to display any supported inference pattern through the spatial relation of hyper-parallelograms, offering an intuitive and consistent geometric interpretation of ExpressivE embeddings and their captured patterns. Experimental results on standard KGC benchmarks reveal that ExpressivE is competitive with state-of-the-art KGEs and even significantly outperforms them on WN18RR.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルが同時に一般の合成と階層のパターンを捉えられていないという限界を解消すること。
• 高次元空間における空間的関係を通じて、捉えた推論パターンの直感的な幾何的解釈を提供する KGE モデルの開発。
• すべての標準的な推論パターン（一般の合成を含む）をサポートすることで、知識グラフ補完における完全な表現力を達成すること。
• 空間的および機能的 KGE の長所を統合し、TransE や RotatE のような機能的のみのモデルの制限を克服するモデルの設計。

提案手法

• ExpressivE は、エンティティのペアを 2d 次元の仮想三重空間 R^{2d} 内の点として、関係をハイパーパラレログラムとして表現し、複雑な推論パターンを空間的に表現する。
• モデルはハイパーパラレログラム間の幾何的関係に基づく機能的スコアリング関数を用い、合成的および階層的な関係の正確なモデリングを可能にする。
• ハイパーパラレログラムのサイズを制御するための最小分母制約 D_min を導入し、安定的で意味のある空間的表現を保証する。
• 自己敵対的ネガティブサンプリングとマージンベースの損失関数を用いて、ランキング性能の最適化を図る。
• 幾何的制約や設計選択の影響を調査するため、複数のバリエーション（例：Functional、EqSlopes、NoCenter）をサポートする。
• 各ベンチマークごとに、学習率、マージン、温度、ネガティブサンプル数、D_min を手動でサーチし、最良の設定を選定する。

実験結果

リサーチクエスチョン

• RQ1 既存のモデルが同時に達成できない一般の合成と階層のパターンを、知識グラフ埋め込みモデルが同時に捉えることができるか？
• RQ2 2d 次元空間におけるハイパーパラレログラムの空間的配置が、複雑な推論パターンに対して直感的で一貫性のある幾何的解釈を提供できるか？
• RQ3 一般の定義や一般の合成を含むすべての標準的な推論パターンをサポートする完全に表現可能な KGE を設計することは可能か？
• RQ4 RotatE や BoxE のような機能的のみまたは空間的のみのモデルと比較して、ExpressivE の幾何的設計は性能と表現力の面で優れているか？

主な発見

• ExpressivE は WN18RR ベンチマークで最先端の性能を達成し、フィルタード Hits@10 および Hits@3 において、既存の最先端モデルを顕著に上回った。
• FB15k-237 では、多様な知識グラフ構造にわたる強力な一般化性能を示した。
• 本モデルは完全に表現可能であり、表1に記載されたすべての推論パターン（一般の合成と階層を含む）を同時に捉えることができ、これまではどの既存の KGE も同時に達成できなかった。
• アブレーションスタディの結果、ハイパーパラレログラムの設計と D_min 制約が、性能と幾何的解釈性の両面で顕著に向上させたことが確認された。
• WN18RR で最も優れた性能を示した ExpressivE のバリエーションは、フィルタード Hits@10 で 98.7% を達成し、RotatE や BoxE を上回った。
• モデルの幾何的解釈は一貫的で直感的であり、ハイパーパラレログラム間の空間的関係が、それらが表す論理的推論パターンを直接反映している。