[論文レビュー] On Exploring the Reasoning Capability of Large Language Models with Knowledge Graphs

Pei-Chi Lo, Yi-Hang Tsai+2 more|arXiv (Cornell University)|Dec 1, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLMs）の内部知識グラフを用いて、その推論能力を調査し、LLMsが文脈から事実知識を想起し、複数ステップにわたる関係を推論できることを示している。GPT-4は文脈的パス生成において他のモデルを上回り、幻覚が少なく、出力の整合性が高かった。また、多段階プロンプトが推論の正確性を向上させた。

ABSTRACT

This paper examines the capacity of LLMs to reason with knowledge graphs using their internal knowledge graph, i.e., the knowledge graph they learned during pre-training. Two research questions are formulated to investigate the accuracy of LLMs in recalling information from pre-training knowledge graphs and their ability to infer knowledge graph relations from context. To address these questions, we employ LLMs to perform four distinct knowledge graph reasoning tasks. Furthermore, we identify two types of hallucinations that may occur during knowledge reasoning with LLMs: content and ontology hallucination. Our experimental results demonstrate that LLMs can successfully tackle both simple and complex knowledge graph reasoning tasks from their own memory, as well as infer from input context.

研究の動機と目的

• LLMsが事前に学習された内部知識グラフから事実知識を想起できるかどうかを評価すること。
• LLMsが文脈入力から複数ステップにわたる知識グラフの関係を推論できる能力を評価すること。
• LLMを用いた知識推論中に発生する2種類の幻覚（コンテンツ幻覚とオントロジー幻覚）を特定・分類すること。
• 特に文脈的パス生成のような複雑なタスクにおいて、構造化されたプロンプト戦略を通じて推論性能を向上させること。
• 外部リtrievalを伴わない状況でも、特に特許情報や未確認の知識ベースに対してLLMsを知識グラフ推論に活用する基盤を提供すること。

提案手法

• 尾部エンティティ予測、関係予測、関係抽出、文脈的パス生成の4つの知識グラフ推論タスクにおいて、text-davinci-003、ChatGPT、GPT-4の3つのLLMsを用いた。
• 非文脈的タスク（尾部エンティティおよび関係予測）に対してゼロショットプロンプトを設計し、LLMsの内部知識想起能力をテストした。
• 文脈的パス生成（CPG）のための多段階プロンプト戦略を導入し、サポート文抽出、エンティティリンク、パス生成のサブタスクを含めた。
• 知識グラフのソースとしてDBPediaを用い、尾部エンティティおよび関係予測タスク用に100トリプルのデータセットを構築した。
• NGEO、%IF（不整合性）、%IV（不正確性）といった指標を用いてモデルを評価し、最短パスやシンプルな指示プロンプトといったベースライン手法と比較した。
• 特にChatGPTのような初期の整合性が低いモデルの推論を強化するために、AutoCoT（自動的思考の連鎖）を適用した。

Figure 1. An Example of Contextual Path Generation Task. The query entities $(e_{H},e_{T})$ are colored in red in the context document $d$ .

実験結果

リサーチクエスチョン

• RQ1 LLMsは、内部知識グラフからどの程度正確に情報を想起できるか？
• RQ2 LLMsは、文脈的入力から知識グラフの関係をどの程度推論できるか？
• RQ3 LLMを用いた知識推論中に発生する幻覚（コンテンツ幻覚またはオントロジー幻覚）の種類は何か？
• RQ4 多段階プロンプトとGPT-4のような高度なモデルは、文脈的パス生成における推論性能と幻覚発生率にどのように影響を与えるか？

主な発見

• GPT-4は文脈的パス生成で最高のパフォーマンスを示し、NGEOが0.17、%IFが0.10、%IVが0.18を記録し、text-davinci-003やChatGPTを大きく上回った。
• 多段階プロンプトはtext-davinci-003の推論品質を向上させ、NGEOを0.37から0.29に低下させたが、%IVは依然として0.30の高水準を維持した。
• ChatGPTは単一ステッププロンプトで整合性が低く（NGEO 0.29、%IF 0.15）、しかしAutoCoTを適用することでNGEOが0.25、%IFが0.14に低下した。
• コンテンツ幻覚とオントロジー幻覚は、複雑なタスクにおいて一貫して観察された。これにより、より良いプロンプト工学や外部リtrievalの必要性が示された。
• 最短パスベースラインは最高の整合性（NGEO 0.43）を示したが、文脈的関連性に欠けていた。これは、正しさと文脈適合性のトレードオフを示している。
• GPT-4のようなLLMsは最小限のプロンプト工学で十分に機能し、簡潔で正確な出力を生成した。これは、適切にプロンプトされた場合、強い文脈内推論能力を有していることを示唆している。