[論文レビュー] Knowledge Graph Embedding: An Overview

Xiou Ge, Yun-Cheng Wang+2 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿は、知識グラフ補完のための知識グラフ埋め込み（KGE）モデルについて、包括的な概要を提供する。主に距離ベースと意味的マッチングベースの手法に焦点を当て、複合的変換（翻訳、回転など）を統合するCompoundEおよびCompoundE3Dを紹介し、事前学習言語モデル（PLM）とKGEを統合する新たな動向を強調している。これにより、リンク予測性能が向上する。

ABSTRACT

Many mathematical models have been leveraged to design embeddings for representing Knowledge Graph (KG) entities and relations for link prediction and many downstream tasks. These mathematically-inspired models are not only highly scalable for inference in large KGs, but also have many explainable advantages in modeling different relation patterns that can be validated through both formal proofs and empirical results. In this paper, we make a comprehensive overview of the current state of research in KG completion. In particular, we focus on two main branches of KG embedding (KGE) design: 1) distance-based methods and 2) semantic matching-based methods. We discover the connections between recently proposed models and present an underlying trend that might help researchers invent novel and more effective models. Next, we delve into CompoundE and CompoundE3D, which draw inspiration from 2D and 3D affine operations, respectively. They encompass a broad spectrum of techniques including distance-based and semantic-based methods. We will also discuss an emerging approach for KG completion which leverages pre-trained language models (PLMs) and textual descriptions of entities and relations and offer insights into the integration of KGE embedding methods with PLMs for KG completion.

研究の動機と目的

• 知識グラフ補完のための既存の知識グラフ埋め込み（KGE）モデルを統一的かつ包括的に概説すること。
• 特に翻訳、回転、スケーリングなどの幾何変換の統合を含む、KGEモデル設計における主要なトレンドを特定・分析すること。
• KGE手法と事前学習言語モデル（PLM）の相乗効果を探索し、リンク予測および知識推論の性能を向上させること。
• 将来のKGE研究を支援するため、ベンチマークデータセット、公開済み知識グラフ、リーダーボードを含む主要な研究リソースを整理すること。
• 2次元および3次元空間におけるアフィン操作を用いて多様なKGE技術を統合するCompoundEおよびCompoundE3Dの導入を通じ、新たなKGEモデル開発を刺激すること。

提案手法

• KGEモデルを主に2つの分野に分類する：距離ベースの手法（例：TransE, RotatE）と意味的マッチングベースの手法（例：ComplEx, SimplE）。
• 2次元および3次元のアフィン操作を用いて、翻訳、回転、スケーリング、反射などの複数の幾何変換を統合する統一フレームワークとしてCompoundEおよびCompoundE3Dを導入する。
• 幾何変換の観点からKGEモデルの数学的構造を分析し、見た目は異なるが実際には関連するモデル間の本質的なつながりを明らかにする。
• エンティティおよび関係のテキスト記述を活用することで、事前学習言語モデル（PLM）とKGEを統合するフレームワークを提案する。KEPLER, BERTRL, KGT5などのモデルを用いる。
• SimKGCやStARのようなモデルでは、対照学習と自己教師付き目的を用いて、頭部エンティティとテールエンティティ表現間の意味的マッチングを強化する。
• T5を用いたシーケンス・ツー・シーケンスモデリングにより、KGT5は自然言語信号を用いてエンド・ツー・エンドのリンク予測および質問応答を実行する。

Figure 2: Illustration of Knowledge Panel from Google Search.

実験結果

リサーチクエスチョン

• RQ1 翻訳、回転、スケーリングなどの幾何変換は、知識グラフにおける多様な関係パターンをどのようにモデル化に寄与するか？
• RQ2 TransE, RotatE, ComplEx などの見た目は異なるが実際には関連するKGEモデル間には、どのような構造的・数学的つながりが存在するか？
• RQ3 事前学習言語モデル（PLM）は、KGEとどの程度効果的に統合可能であり、リンク予測および推論性能の向上にどの程度寄与するか？
• RQ4 CompoundE や CompoundE3D といった統一フレームワークは、複合的な幾何変換操作を統合することで、既存のKGEモデルをどのように一般化・改善するか？
• RQ5 テキスト記述を用いたKGEモデルにおける意味的マッチングを強化するための、最も効果的な自己教師付きおよび対照学習戦略は何か？

主な発見

• CompoundE および CompoundE3D は、それぞれ2次元および3次元のアフィン変換を用いて、広範なKGEモデルを統合し、モデル化能力の向上を示した。
• 回転や翻訳などの幾何変換の統合により、対称的・反対称的・その他の複雑な関係パターンの効果的なモデル化が可能になった。
• RotatE や QuatE は、複素数空間における関係の回転としてのモデル化により、標準ベンチマーク（例：FB15k-237）で最先端の性能を達成した。
• KEPLER や BERTRL といったPLMベースのKGEモデルは、テキスト記述による埋め込み初期化と、マスク言語モデルや関係パスモデリングによるファインチューニングにより、優れた性能を示した。
• KGT5 は、自然言語プロンプトを用いたT5ベースのシーケンス・ツー・シーケンスフレームワークにより、リンク予測および質問応答の両方で競争力ある結果を得た。
• SimKGC や StAR は、バッチ内および自己ネガティブサンプリングを用いた対照学習が、グラフ構造の誘導バイアスと組み合わせることで、リンク予測タスクの性能を顕著に向上させることを示した。

Figure 3: Connections between different knowledge graph embedding models