[論文レビュー] A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning

Yuanning Cui, Zequn Sun+1 more|arXiv (Cornell University)|Oct 16, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、多様で未知の知識グラフにわたる普遍的な文脈内推論を可能にする、プロンプトベースの知識グラフ基礎モデルKG-ICLを提案する。クエリ関連のプロンプトグラフを構築し、エンティティおよび関係の間で一般化するための統一トークナイザーを用いることで、プロンプト符号化とKG推論の両方のための2つのメッセージスティンングネットワークを採用し、推論設定（伝達的および誘導的）の両方で43のデータセットにおいて最先端の性能を達成した。

ABSTRACT

Extensive knowledge graphs (KGs) have been constructed to facilitate knowledge-driven tasks across various scenarios. However, existing work usually develops separate reasoning models for different KGs, lacking the ability to generalize and transfer knowledge across diverse KGs and reasoning settings. In this paper, we propose a prompt-based KG foundation model via in-context learning, namely KG-ICL, to achieve a universal reasoning ability. Specifically, we introduce a prompt graph centered with a query-related example fact as context to understand the query relation. To encode prompt graphs with the generalization ability to unseen entities and relations in queries, we first propose a unified tokenizer that maps entities and relations in prompt graphs to predefined tokens. Then, we propose two message passing neural networks to perform prompt encoding and KG reasoning, respectively. We conduct evaluation on 43 different KGs in both transductive and inductive settings. Results indicate that the proposed KG-ICL outperforms baselines on most datasets, showcasing its outstanding generalization and universal reasoning capabilities. The source code is accessible on GitHub: https://github.com/nju-websoft/KG-ICL.

研究の動機と目的

• 異なる知識グラフにわたる既存のKG推論モデルにおける一般化性と移譲性の欠如に対処すること。
• 微調整や事前学習済み埋め込みを必要とせずに、未観測のエンティティおよび関係に対する誘導的推論を可能にすること。
• グローバル関係グラフの制限を克服し、クエリ関連の局所的文脈に焦点を当てたプロンプトグラフを通じて、ローカルで関連性の高い文脈を捉えること。
• 異なるKGにわたるエンティティおよび関係の間で一般化できる統一された表現フレームワークを構築すること。
• 文脈内学習を通じて、未観測のKGにわたるゼロショットまたは少数ショット推論能力を達成すること。

提案手法

• クエリ関連の例示的事実を中心に、関連する隣接エンティティおよび主語と目的語の間の関係的パスを含むプロンプトグラフを構築する。
• クエリの主語および目的語からの最短パス距離に基づいて、エンティティおよび関係を共有のトークンクラスにマッピングする統一トークナイザーを導入する。
• 局所的文脈を用いて表現を更新するため、エンティティ中心および関係中心のメッセージスティングメカニズムをプロンプトエンコーダーで採用する。
• 学習されたプロンプト表現を用いて、ターゲットKGにおける関係およびエンティティ埋め込みを初期化し、下流の推論に用いる。
• 初期化された表現を用いて、全KG上でメッセージスティングを実行し、クエリの候補エンティティをスコアリングする。
• プロンプトグラフ内に少数ショットの例を提示することで文脈内学習を活用し、微調整なしに未観測のKGへのゼロショット移譲を可能にする。

Figure 1 : Overview of the in-context KG reasoning foundation model. (A) Given the query and KG, we extract prompt graphs as context for the query relation “player in league”. The entities and relations in the prompt graphs are mapped to the unified tokens. (B) We employ a message passing neural net

実験結果

リサーチクエスチョン

• RQ1 再トレーニングなしに、再訓練なしに多様で未観測の知識グラフにわたる推論に一般化できる単一の基礎モデルは存在するか？
• RQ2 グローバル関係グラフを超える関係表現を向上させるために、どのように局所的でクエリ関連の文脈を効果的に捉えることができるか？
• RQ3 統一トークナイゼーション方式が、異なるエンティティおよび関係語彙を持つKG間でどれほど移譲性を可能にできるか？
• RQ4 プロンプトグラフを用いた文脈内学習は、未観測のエンティティおよび関係において、従来の誘導的推論モデルを上回る性能を示すか？
• RQ5 本モデルは、幅広い現実世界のKGにおいて、伝達的および誘導的推論設定の両方で高い性能を維持できるか？

主な発見

• KG-ICLは、伝達的および誘導的設定の両方で43の異なる知識グラフにおいて、既存のベースラインを上回り、強力な一般化性を示した。
• 43のデータセットにおける全候補設定下で、平均MRRが0.473、H@10が0.638に達し、堅牢な性能を示した。
• NELL-995データセットでは、MRRが0.534、H@10が0.672に達し、誘導的推論において先行手法を上回った。
• Metafamデータセットでは、MRRが1.000、H@10が1.000に達し、挑戦的でオープンワールドなベンチマークで優れた性能を示した。
• 数百万の事実を含む大規模データセットでも、強力な性能を維持したことで、スケーラビリティおよび効率性を確認した。
• アブレーションスタディの結果、プロンプトグラフおよび統一トークナイザーが一般化に不可欠であり、これらを除去すると性能が著しく低下することが分かった。

Figure 2 : MRR results on various KGs.