[論文レビュー] Analyzing Knowledge Graph Embedding Methods from a Multi-Embedding Interaction Perspective

Hung Tran, Atsuhiro Takasu|arXiv (Cornell University)|Mar 27, 2019

Advanced Graph Neural Networks参考文献 31被引用数 7

ひとこと要約

本稿では、DistMult、ComplEx、CP などの最先端の知識グラフ埋め込みモデルを一般化・分析するための統一的でマルチ埋め込み相互作用メカニズムを提案する。複数の埋め込みベクトルの重み付き和として相互作用をモデル化することで、理論的統一と実証的比較を可能とし、結果として Hits@10 の性能において既存手法を上回る新しい四元数ベースの4埋め込みモデルを構築した。

ABSTRACT

Knowledge graph is a popular format for representing knowledge, with many applications to semantic search engines, question-answering systems, and recommender systems. Real-world knowledge graphs are usually incomplete, so knowledge graph embedding methods, such as Canonical decomposition/Parallel factorization (CP), DistMult, and ComplEx, have been proposed to address this issue. These methods represent entities and relations as embedding vectors in semantic space and predict the links between them. The embedding vectors themselves contain rich semantic information and can be used in other applications such as data analysis. However, mechanisms in these models and the embedding vectors themselves vary greatly, making it difficult to understand and compare them. Given this lack of understanding, we risk using them ineffectively or incorrectly, particularly for complicated models, such as CP, with two role-based embedding vectors, or the state-of-the-art ComplEx model, with complex-valued embedding vectors. In this paper, we propose a multi-embedding interaction mechanism as a new approach to uniting and generalizing these models. We derive them theoretically via this mechanism and provide empirical analyses and comparisons between them. We also propose a new multi-embedding model based on quaternion algebra and show that it achieves promising results using popular benchmarks. Source code is available on GitHub at https://github.com/tranhungnghiep/AnalyzeKGE.

研究の動機と目的

• 実数値、複素数値、または役割固有のベクトルといった異なる埋め込みベクトル構造を持つ多様な知識グラフ埋め込みモデルの統一的理解の欠如に対処すること。
• DistMult、ComplEx、CP、CP h を含む既存モデルを、単一のマルチ埋め込み相互作用メカニズムに統一する汎用的な理論的フレームワークを提供すること。
• 異なるモデルの性質、特に埋め込み相互作用の安定性、識別可能性、完全性を実証的に分析・比較すること。
• マルチ埋め込みフレームワークを拡張する新しい四元数ベースの4埋め込み相互作用モデルを設計・評価し、強力な実証的結果を達成すること。
• マルチ埋め込み相互作用の最適な重みベクトルを自動で学習する際の課題、特に対称的勾配崩壊を避けることの難しさを調査すること。

提案手法

• 各エンティティおよび関係が複数の埋め込みベクトルで表現され、マッチングスコアがこれらのベクトル間の三重積の重み付き和として計算されるマルチ埋め込み相互作用メカニズムを提案する。
• 提案された重み付き和相互作用メカニズムの特殊ケースとして、既存モデルのスコア関数を表現することにより、理論的フレームワークを構築し、既存モデルを一般化する。
• 数学的分析を用いて、効果的な重みベクトルを特徴付ける3つの重要な性質を定義する：完全性（すべての埋め込みが関与）、安定性（同種の埋め込みからの寄与が等しい）、識別可能性（異なる三つ組に対して非対称なスコア）。
• 四元数値のベクトルを4つ用いて各エンティティおよび関係を表現する四元数ベースの4埋め込み相互作用モデルを設計し、実数または複素数値埋め込みよりも豊かな相互作用モデリングを可能にする。
• tanh、sigmoid、softmax などのさまざまな活性化関数と、L1正則化、ディリクレNLL正則化などの正則化手法を用いてエンドツーエンド学習を実施し、重みベクトルを自動で学習するが、勾配の対称性や局所最適解への収束といった課題を分析する。
• 標準的な知識グラフベンチマークデータセット（例：FB15k、WN18）を用いて実証的評価を実施し、Hits@10、平均逆順位（MRR）、Hits@1 などの指標を用いて、モデル間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 異なる埋め込みベクトル構造（例：実数値、複素数値、役割ベース）を持つ多様な知識グラフ埋め込みモデルを、単一の相互作用メカニズムで理論的に統一することは可能か？
• RQ2 完全性、安定性、識別可能性といった性質は、マルチ埋め込み相互作用モデルにおける効果的な重みベクトルを特徴づけるものか？
• RQ3 四元数ベースの4埋め込み相互作用モデルは、標準的な知識グラフ補完ベンチマークにおいて、ComplEx や CP h などの既存の最先端手法を上回る性能を示せるか？
• RQ4 マルチ埋め込み相互作用の最適な重みベクトルを自動で学習することが特に困難である理由は何か？勾配の対称性や局所最適解への収束に寄与する要因は何か？
• RQ5 提案されたモデルは、CP のようなモデルで知られている過学習の問題を、ヒューリスティックなデータ拡張を用いた場合にどれほど緩和できるか？

主な発見

• 提案されたマルチ埋め込み相互作用メカニズムは、重み付き和フレームワークの特殊ケースとして、DistMult、ComplEx、CP、CP h のスコア関数を表現することにより、既存モデルを成功裏に統一・一般化した。
• 四元数ベースの4埋め込み相互作用モデルは、標準ベンチマークで優れた性能を示し、特に Hits@10 において、ComplEx や CP h などの最先端手法を上回った。
• 訓練データにおいても強力な性能を示し、Hits@10 が 1.000 に達したが、これは過学習の可能性を示唆しており、より優れた正則化技術の必要性を示している。
• 重みベクトルの自動学習は、対称的勾配のため困難であった。活性化関数や L1／ディリクレ正則化の有無に関わらず、モデルはほぼ均一な重みに収束する傾向にあり、根本的な対称性の問題が示された。
• 理論的分析により、効果的な重みベクトルは完全性、安定性、識別性を満たす必要があることが確認された。複素数値モデル（例：ComplEx）は、複素平面における回転不変性のおかげで、これらの性質が自然に満たされる。
• 実証的結果から、ヒューリスティックベースのモデル（例：CP h）が優れた性能を示すのは、本質的な優位性のおかげではなく、追加の埋め込みベクトルの有効な使用によるものであり、提案フレームワークはこれを一般化・拡張可能であることが示された。