[論文レビュー] Interpreting Knowledge Graph Relation Representation from Word Embeddings

Carl Allen, Ivana Balažević+1 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 27被引用数 7

ひとこと要約

本稿は、PMIに基づく単語埋め込みからの理論的洞察を拡張することで、知識グラフ埋め込みの幾何的関係条件を導出しており、関係の意味的構造に基づき、3種類の関係（R、S、C）に分類している。主な知識グラフモデルの性能と表現特性がこれらの条件と整合していることが示され、単語埋め込みと知識グラフ埋め込みの間で共通の潜在的構造が存在することが明らかになった。

ABSTRACT

Many models learn representations of knowledge graph data by exploiting its low-rank latent structure, encoding known relations between entities and enabling unknown facts to be inferred. To predict whether a relation holds between entities, embeddings are typically compared in the latent space following a relation-specific mapping. Whilst their predictive performance has steadily improved, how such models capture the underlying latent structure of semantic information remains unexplained. Building on recent theoretical understanding of word embeddings, we categorise knowledge graph relations into three types and for each derive explicit requirements of their representations. We show that empirical properties of relation representations and the relative performance of leading knowledge graph representation methods are justified by our analysis.

研究の動機と目的

• 最近のリンク予測の進展にもかかわらず、依然として十分に説明されていない知識グラフ関係表現の背後にある潜在的意味的構造を理解すること。
• PMIに基づく単語埋め込み（例：Word2Vec）からの知見を、学習された関係に共通する幾何的原則として特定することで、知識グラフ表現に橋渡しすること。
• 意味的関係の種類に基づいて、主語から目的語のエンティティ埋め込みへの関係表現のマッピングがどのようにならねばならないかを明示的かつ理論的根拠に基づいて導出すること。
• 最先端の知識グラフモデルの性能と特性が、これらの導出された関係条件とどの程度整合しているかを評価すること。
• アーキテクチャ的選択を意味的関係の種類と幾何的制約に関連付ける統一的なフレームワークを提供し、今後の知識グラフモデルの設計を支援すること。

提案手法

• PMIに基づく単語埋め込みの理論的分析を知識グラフ関係に拡張することで、幾何的関係条件を導出し、関係を3種類に分類（R：関連性、S：対称的、C：非対称的）している。
• PMI行列因子分解の線形的幾何的性質（以前に単語埋め込みにおける類似性、類義語、類推を符号化することが示された）を基盤として、関係固有のマッピングを定義している。
• 導出された条件を用いて、主要なリンク予測モデル（例：TransE、DistMult、TuckER、MuRE）のアーキテクチャ的要素を分析し、スコア関数とパrameterizationが理論的条件をどの程度満たしているかを検証している。
• ランキング指標（例：MRR、Hits@10）と分類精度の両方を用いてモデル性能を評価し、関係条件の満たし具合の予測と照らし合わせている。
• TuckER や MuRE などのモデルにおける関係行列の対称性、ベクトルノルム、固有値の大きさといった実証的特性を分析し、理論的予測の妥当性を検証している。
• 実証的検証には WN18RR データセットを用い、異なる関係種別における対称性スコア、ベクトルノルム、固有値プロファイルを測定している。

実験結果

リサーチクエスチョン

• RQ1 PMIに基づく単語埋め込みの幾何的構造を、知識グラフ関係表現の形式的条件にどのように拡張できるか？
• RQ2 導出された幾何的条件によって特定された3つの異なる関係種別（R、S、C）とは何か。それぞれの意味的・構造的特性はどのように異なるか？
• RQ3 代表的な知識グラフモデル（例：TransE、TuckER）のアーキテクチャ的設計が、それぞれの関係種別に対して理論的に導出された関係条件をどの程度満たしているか？
• RQ4 これらの条件の満たし具合の度合いが、異なるモデルおよび関係種別におけるリンク予測性能にどの程度相関しているか？
• RQ5 学習済み関係表現の実証的特性（例：行列の対称性、ベクトルノルム、固有値の大きさ）は、関係条件に基づく理論的予測と一致しているか？

主な発見

• 理論的分析により、関係は3種類に分類され、それぞれが埋め込み空間における異なる幾何的マッピングを要する：R（関連性）、S（対称的）、C（非対称的）。
• 特定の関係種別に対して関係条件を満たすモデルは、MRR や Hits@10 で顕著に優れたリンク予測性能を示し、性能は条件満たし具合と強く相関している。
• TuckER の関係行列は、R 種別の関係に対して高い対称性を示しており、アーキテクチャに加法的成分がないことと整合的である。一方、TransE や MuRE は、R 種別の関係に対して低いノルムの関係ベクトルを学習している。
• MuRE の関係行列の固有値の大きさは、R 種別に対して最大であり、強い関連性要因を示している。S および C 種別では、固有値プロファイルが有意に異なり、関連性の強さや構造の違いを反映している。
• 加法的モデル（例：TransE、MuRE）における関係ベクトルのノルムは、R 種別に対して S や C 種別よりも顕著に低く、類似関係が最小限の加法的変換を要することを理論的予測が裏付けている。
• WN18RR での実証的結果から、導出された条件と整合するアーキテクチャを持つモデルが、ランキング指標および分類精度の両面で他を上回っており、理論的フレームワークの妥当性が裏付けられた。