[論文レビュー] Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models

Derong Xu, Ziheng Zhang+7 more|arXiv (Cornell University)|Mar 4, 2024

Advanced Graph Neural Networks被引用数 10

ひとこと要約

MPIKGC は、エンティティ、関係、構造の観点から LLM をクエリすることで説明ベースの KGC を強化し、複数データセットとバックボーンにおいてリンク予測と三元組分類を改善します。

ABSTRACT

Knowledge graph completion (KGC) is a widely used method to tackle incompleteness in knowledge graphs (KGs) by making predictions for missing links. Description-based KGC leverages pre-trained language models to learn entity and relation representations with their names or descriptions, which shows promising results. However, the performance of description-based KGC is still limited by the quality of text and the incomplete structure, as it lacks sufficient entity descriptions and relies solely on relation names, leading to sub-optimal results. To address this issue, we propose MPIKGC, a general framework to compensate for the deficiency of contextualized knowledge and improve KGC by querying large language models (LLMs) from various perspectives, which involves leveraging the reasoning, explanation, and summarization capabilities of LLMs to expand entity descriptions, understand relations, and extract structures, respectively. We conducted extensive evaluation of the effectiveness and improvement of our framework based on four description-based KGC models and four datasets, for both link prediction and triplet classification tasks.

研究の動機と目的

• 知識グラフの不完全性を、LLMs で説明ベースの KGC を強化して解消する。
• チェーン・オブ・思考プロンプトを用いてエンティティの説明を拡張する。
• グローバル、ローカル、リバースプロンプトを用いて関係理解を向上させる。
• 訓練データを拡張するために構造情報を抽出・組み込む。
• 4つの説明ベース KGC モデルと4データセットで普遍性を示し、リンク予測と三元組分類に適用。

提案手法

• Chain-of-Thought prompts を使ってより豊かなエンティティ説明を生成する (MPIKGC-E).
• グローバル、ローカル、リバースプロンプトを適用して関係意味をよりよく捉える (MPIKGC-R).
• エンティティの説明をキーワードへ要約し SameAs ベースのリンクを作成して追加の構造的手がかりを抽出する (MPIKGC-S).
• 視点を横断するプロンプトを組み合わせ、拡張されたテキストを BERT (bert-base-uncased) にエンコードされたベース KGC モデルへ入力する。
• FB15k237, WN18RR (リンク予測) および FB13, WN11 (三元組分類) を4つのバックボーン (KG-BERT, SimKGC, LMKE, CSProm-KG) で評価する。
• アブレーションとクロス-LLM 分析を実施して普遍性と有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 LLM は説明ベースの KGC モデルを改善する意味のある補助テキストを提供できるか？
• RQ2 エンティティ拡張、関係理解、構造抽出は独立して、または相乗的に KGC の性能に寄与するか？
• RQ3 MPIKGC は異なる LLM および KGC バックボーンに対して堅牢か？
• RQ4 データ拡張戦略は前方のリンク予測と逆方向のリンク予測、および長尾エンティティの挙動にどう影響するか？

主な発見

モデル	MR↓	MRR↑	H@1↑	H@3↑	H@10↑
TransE	323	27.9	19.8	37.6	44.1
DistMult	512	28.1	19.9	30.1	44.6
ConvE	245	31.2	22.5	34.1	49.7
RotatE	177	33.8	24.1	37.5	53.3
ATTH	-	34.8	25.2	38.4	54.0
CSProm-KG	188	35.23	26.05	38.72	53.57
+MPIKGC-E	195	35.51	26.38	38.96	53.74
+MPIKGC-R	192	35.38	26.29	38.83	53.50
+MPIKGC-S	179	35.95	26.71	39.52	54.89
LMKE	135	30.31	21.49	33.02	48.07
+MPIKGC-E (LMKE)	138	30.83	21.89	33.67	48.75
+MPIKGC-R (LMKE)	145	30.99	22.21	33.70	48.83
+MPIKGC-S (LMKE)	135	30.68	21.67	33.35	48.91
SimKGC	146	32.66	24.13	35.42	49.65
+MPIKGC-E (SimKGC)	143	33.01	24.37	35.80	50.29
+MPIKGC-R (SimKGC)	156	31.05	22.63	33.62	47.65
+MPIKGC-S (SimKGC)	143	33.22	24.49	36.26	50.94

• MPIKGC 強化モデルは、データセットとタスクを問わず、ベースの説明ベース KGC モデルを一貫して改善する。
• 構造抽出 (MPIKGC-S) は FB15k237 で最大の利得を達成し、いくつかの構造ベース手法を上回る。
• 関係理解 (MPIKGC-R) は WN18RR で MRR、Hits@1、Hits@3 に対して 1%–2% の利得を生む。
• エンティティ拡張 (MPIKGC-E) は Hits@10 と全体の指標を改善し、組み合わせた場合には相補的効果を示す (E, R, S)。
• GPT-4 ベースのプロンプティング は特に関係理解 (R) に対して強い利得を生み、より大きな LLM を使用する際に顕著だった；LLM とタスクによって性能は異なる。
• 組み合わせ MPIKGC-E&R&S はいくつかの指標で最良のバランスを達成した（例: FB15k237 の H@3）。