[論文レビュー] Exploring Large Language Models for Knowledge Graph Completion

Liang Yao, Jiazhen Peng+2 more|arXiv (Cornell University)|Aug 26, 2023

Topic Modeling被引用数 23

ひとこと要約

本論文はKG-LLMを提案する。KG三つ組をテキストプロンプトへ変換し、指示調整済みの大規模言語モデルを用いてKG補完を実施する frameworkであり、強力な結果を示し、より小さなファインチューニング済みモデルがChatGPT/GPT-4よりもいくつかのタスクで上回ることを示している。

ABSTRACT

Knowledge graphs play a vital role in numerous artificial intelligence tasks, yet they frequently face the issue of incompleteness. In this study, we explore utilizing Large Language Models (LLM) for knowledge graph completion. We consider triples in knowledge graphs as text sequences and introduce an innovative framework called Knowledge Graph LLM (KG-LLM) to model these triples. Our technique employs entity and relation descriptions of a triple as prompts and utilizes the response for predictions. Experiments on various benchmark knowledge graphs demonstrate that our method attains state-of-the-art performance in tasks such as triple classification and relation prediction. We also find that fine-tuning relatively smaller models (e.g., LLaMA-7B, ChatGLM-6B) outperforms recent ChatGPT and GPT-4.

研究の動機と目的

• 大規模言語モデル（LLMs）を用いたテキスト連続表現としての知識グラフ補完を動機づける。
• オープンLLMの指示調整が最先端のKG補完結果を生み出すかを調査する。
• 標準的なKGベンチマークに対する様々なLLMとファインチューニング設定の性能を評価する。
• promptingと学習においてKGの構造情報を取り入れる影響を検討する。

提案手法

• エンティティ、関係、三つ組をテキスト列として扱い、KG補完をシーケンス・トゥ・シーケンス問題として構築する。
• オープンLLM（ChatGLM-6B with P-tuning v2とLLaMA 1/2 with LoRA）を微調整してKG-LLMモデルとする。
• 三つ組分類、関係予測、エンティティ/リンク予測のタスクプロンプトを作成し、モデルが妥当な回答を生成できるようにする。
• プロンプト内で文脈的手掛かりを提供するため、エンティティ予測タスクにおいて周囲のKG構造（近隣エンティティ）をサンプリングして導入する。
• 複数のデータセットにわたり、標準のKG埋め込みおよび事前学習済みLM（ChatGPTやGPT-4を含む）と比較して、指示調整済みKG-LLMを評価する。
• GPT-4アクセス制限のため、FB13-100およびYAGO3-10-100を含む100例サブセットを含むデータセットWN11、FB13、WN18RR、YAGO3-10で評価する。

実験結果

リサーチクエスチョン

• RQ1 指示調整済みのオープンLLMは、三つ組分類、関係予測、エンティティ予測タスクを横断して効果的な知識グラフ補完モデルとして機能し得るか？
• RQ2 小型の指示調整済みLLMは、KG補完ベンチマークで独自のChatGPTやGPT-4を上回るか？
• RQ3 プロンプトを介してKG構造情報を取り入れることはKG補完の性能にどのような影響を与えるか？
• RQ4 LLaMAベースとChatGLMベースのKG-LLMは、異なるKG補完タスクでどの点が相対的に強いか？

主な発見

• KG-LLMはKG補完タスク全般で強力な結果を達成し、指示調整が性能を大幅に向上させる。
• KG-LLaMA-7BおよびKG-LLaMA-13Bは、ChatGPTと比較して、さらにはGPT-4に匹敵するか超える場合もある競争力のある結果を示す。
• KG-LLaMA-13BおよびKG-LLaMA2-13BはWN11およびFB13で高い三つ組分類精度を達成し、LLaMAベースラインを上回り、場合によってGPT-4を近接または凌ぐ。
• KG-LLaMA-7BはYAGO3-10で関係予測におけるHits@1のリードを取り、いくつかのベースラインや大規模LLMを上回る。
• 構造情報（近隣エンティティ）を取り入れることで大幅な改善が得られ、テキストプロンプトとKG構造を組み合わせる利点が強調される。
• 指示転換によりLLMは蓄積された知識をより効果的に活用できるようになり、非指示調整ベースラインと比較して応答の改善が示された。