[論文レビュー] Making Large Language Models Perform Better in Knowledge Graph Completion

Yichi Zhang, Zhuo Chen+4 more|arXiv (Cornell University)|Oct 10, 2023

Advanced Graph Neural Networks被引用数 14

ひとこと要約

本論文は KoPA（Knowledge Prefix Adapter）を提案し、知識グラフ構造情報をLLMに注入して知識グラフ補完を行い、構造を意識した推論と三重分類の性能を向上させる。KoPAをゼロショット、文脈内学習、指示調整ベースラインと3つのベンチマークで比較する。

ABSTRACT

Large language model (LLM) based knowledge graph completion (KGC) aims to predict the missing triples in the KGs with LLMs. However, research about LLM-based KGC fails to sufficiently harness LLMs' inference proficiencies, overlooking critical structural information integral to KGs. In this paper, we explore methods to incorporate structural information into the LLMs, with the overarching goal of facilitating structure-aware reasoning. We first discuss on the existing LLM paradigms like in-context learning and instruction tuning, proposing basic structural information injection approaches. Then we propose a Knowledge Prefix Adapter (KoPA) to fulfill this stated goal. The KoPA uses a structural pre-training phase to comprehend the intricate entities and relations within KGs, representing them as structural embeddings. Then KoPA communicates such cross-modal structural information understanding to the LLMs through a knowledge prefix adapter which projects the structural embeddings into the textual space and obtains virtual knowledge tokens positioned as a prefix of the input prompt. We conduct comprehensive experiments and provide incisive analysis concerning how the introduction of cross-modal structural information would be better for LLM's factual knowledge reasoning ability. Our code and data are available at https://github.com/zjukg/KoPA .

研究の動機と目的

• KG構造情報を活用してLLMを用いたKGCの改善を動機づける。
• KG構造埋め込みをプレフィックスアダプタを介してLLMと統合する2段階の KoPA フレームワークを提案する。
• 複数のベンチマークで構造を意識したLLMベースのKGC手法を評価し、構造情報の有効性を分析する。

提案手法

• KoPAを導入：エンティティと関係の構造埋め込みを前学習する。
• 知識プレフィックスアダプタを用いて構造埋め込みをテキスト空間に射影し、仮想知識トークンをプロンプトのプレフィックスとして作成する。
• KoPAを指示調整と組み合わせて、LLMを介した構造を意識したKGCを可能にする。
• KoPAをゼロショット、ICL、バニラIT、および構造を意識したITベースラインと比較する。
• プロンプト長と近傍テキストアプローチとの効率性の複雑さ分析を提供する。
• Alpaca-7BとLoRAを用いて3つのKGベンチマーク（UMLS、CoDeX-S、FB15K-237N）を実験し、ACC、P、R、F1を報告する。

実験結果

リサーチクエスチョン

• RQ1 KGの構造情報をLLMに効果的に組み込んでKGCの性能を向上させることができるか？
• RQ2 構造情報を付与した場合、ZSR、ICL、ITといった異なるLLMパラダイムはKGCにおいてどのように性能を発揮するか？
• RQ3 KoPAはテキストベースの近傍プロンプトに比べてプロンプト長、スケーラビリティ、転移性の利点を提供するか？
• RQ4 標準的なKGベンチマーク全体で三重分類精度に対する構造埋め込みの影響はどの程度か？

主な発見

モデル	UMLS_精度	UMLS_P	UMLS_R	UMLS_F1	CoDeX_S_精度	CoDeX_S_P	CoDeX_S_R	CoDeX_S_F1	FB15K_237N_精度	FB15K_237N_P	FB15K_237N_R	FB15K_237N_F1
TransE (embedding)	84.49	86.53	81.69	84.04	72.07	71.91	72.42	72.17	56.02	53.47	97.62	67.84
DistMult	86.38	87.06	86.53	86.79	66.79	69.67	59.46	64.16	58.66	58.98	56.84	57.90
ComplEx	90.77	89.92	91.83	90.87	67.64	67.84	67.06	67.45	65.70	66.46	63.38	64.88
RotatE	92.05	90.17	94.41	92.23	75.68	75.66	75.71	75.69	68.46	69.24	66.41	67.80
KG-BERT (PLM)	77.30	70.96	92.43	80.28	77.30	70.96	92.43	80.28	56.02	53.47	97.62	67.84
PKGC (PKG-based)	-	-	-	-	-	-	-	-	79.60	-	-	79.50
KGLLaMA (LLM)	85.77	87.84	83.05	85.38	79.43	78.67	80.74	79.69	74.81	67.37	96.23	79.25
KG-Alpaca (LLM)	86.01	94.91	76.10	84.46	80.25	79.38	81.73	80.54	69.91	62.71	98.28	76.56
Vanilla IT (LLM)	86.91	95.18	77.76	85.59	81.18	77.01	88.89	82.52	73.50	65.87	97.53	78.63
Structural-aware IT	89.93	93.27	86.08	89.54	81.27	77.14	88.40	82.58	76.42	69.56	93.95	79.94
KoPA (proposed)	92.58	90.85	94.70	92.70	82.74	77.91	91.41	84.11	77.65	70.81	94.09	80.81

• KoPAはベースラインのITおよび構造を意識したITを三重分類タスクでベンチマーク全体にわたり上回る。
• KoPAはUMLS、CoDeX-S、FB15K-237Nで強い結果を示し、ベースラインと比較して精度およびF1スコアが競合的または優れている。
• KoPA経由で投影された構造埋め込みは、三重のヘッド/関係/尾部ごとに3つの仮想トークンからなるコンパクトで固定長のプレフィックスを提供し、近傍テキストプロンプトよりも効率的である。
• KoPAによる訓練は、テキストのみのプロンプトと比較して、LLMのバックボーンと設定全体で構造を意識した推論と転移性を向上させる。
• KoPAは、LoRAを用いたファイニングにもおいて有利なプロンプト長特性と競争力のある性能を示す。