[論文レビュー] How Does Knowledge Graph Embedding Extrapolate to Unseen Data: A Semantic Evidence View

Ren Li, Yanan Cao+5 more|arXiv (Cornell University)|Sep 24, 2021

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、知識グラフ埋め込み（KGE）の外挿を説明するための新しいフレームワークである意味的証拠（SE）を導入する。SEは、関係レベルの共起、エンティティレベルの経路接続、三項組レベルの類似性の3段階の意味的サポートを特定する。SE-GNNは、構造化された近隣パターンと多層集約を用いて、これらの証拠を明示的にモデル化するGNNベースのKGEモデルであり、FB15k-237およびWN18RRで最先端の性能を達成し、外挿能力が向上している。

ABSTRACT

Knowledge Graph Embedding (KGE) aims to learn representations for entities and relations. Most KGE models have gained great success, especially on extrapolation scenarios. Specifically, given an unseen triple (h, r, t), a trained model can still correctly predict t from (h, r, ?), or h from (?, r, t), such extrapolation ability is impressive. However, most existing KGE works focus on the design of delicate triple modeling function, which mainly tells us how to measure the plausibility of observed triples, but offers limited explanation of why the methods can extrapolate to unseen data, and what are the important factors to help KGE extrapolate. Therefore in this work, we attempt to study the KGE extrapolation of two problems: 1. How does KGE extrapolate to unseen data? 2. How to design the KGE model with better extrapolation ability? For the problem 1, we first discuss the impact factors for extrapolation and from relation, entity and triple level respectively, propose three Semantic Evidences (SEs), which can be observed from train set and provide important semantic information for extrapolation. Then we verify the effectiveness of SEs through extensive experiments on several typical KGE methods. For the problem 2, to make better use of the three levels of SE, we propose a novel GNN-based KGE model, called Semantic Evidence aware Graph Neural Network (SE-GNN). In SE-GNN, each level of SE is modeled explicitly by the corresponding neighbor pattern, and merged sufficiently by the multi-layer aggregation, which contributes to obtaining more extrapolative knowledge representation. Finally, through extensive experiments on FB15k-237 and WN18RR datasets, we show that SE-GNN achieves state-of-the-art performance on Knowledge Graph Completion task and performs a better extrapolation ability. Our code is available at https://github.com/renli1024/SE-GNN.

研究の動機と目的

• KGEモデルが未観測の三項組に一般化できる背後にあるメカニズムを理解すること。
• 未観測の三項組への外挿を支援する訓練データ内の主要な意味的要因を同定すること。
• これらの要因を明示的に活用するKGEモデルを設計し、外挿性能を向上させること。
• 標準ベンチマーク上での広範な実験を通じて、意味的証拠（SE）の有効性を検証すること。

提案手法

• 3種類の意味的証拠（SE）を提案：関係レベルの共起、エンティティレベルの経路接続、候補エンティティと真値エンティティ間の三項組レベルの類似性。
• それぞれのSEタイプを別々の指標で定量化：共起頻度、最短経路数、埋め込み類似度。
• 各レベルのSEを符号化するための別個の近隣パターンを用いるSE-GNNというGNNベースのKGEモデルを設計。
• 多層グラフ集約を用いて、層間でSE表現を統合・精錬する。
• 情報漏洩を防ぎ、実際の外挿シナリオを模倣するために、学習中にエッジマスキングを適用する。
• 双方向予測を統合するための逆関係と非有向グラフ構築を用い、メッセージパッシングを改善する。

実験結果

リサーチクエスチョン

• RQ1 訓練データ内のどの意味的要因がKGEモデルが未観測の三項組に外挿できるのを可能にするか？
• RQ2 関係レベル、エンティティレベル、三項組レベルの意味的証拠は、外挿性能にどのように寄与するか？
• RQ3 意味的証拠の明示的モデリングが、既存の手法を上回るKGEモデルの一般化性能を向上させられるか？
• RQ4 意味的証拠の強さと未観測データにおけるモデル性能の相関関係はどのように変化するか？

主な発見

• 共起、経路接続、類似度といった意味的証拠（SE）指標は、複数のKGEモデルにおいて外挿性能と強く相関している。
• 対応するSE値が高くなると、特にエンティティレベルおよび三項組レベルで、未観測三項組に対するモデル性能が顕著に向上する。
• SE-GNNは、FB15k-237およびWN18RRの両方で最先端のKGEモデルを上回り、優れた外挿能力を示している。
• アブレーションスタディの結果、3つのSEレベルの明示的モデリングが性能向上に寄与していることが確認され、特に関係数が少ないWN18RRではエンティティレベルおよび三項組レベルのSEがより大きな影響を持つ。
• 異なるKGEモデルにおいても、両データセットでSEの強さとモデル性能の相関関係が一貫して確認され、SEフレームワークの一般性が裏付けられた。