[論文レビュー] KG-RAG: Bridging the Gap Between Knowledge and Creativity

Diego Sanmartin|arXiv (Cornell University)|May 20, 2024

Digital Innovation in Industries被引用数 16

ひとこと要約

KG-RAG は Knowledge Graphs と retrieval-augmented generation を組み合わせて、LLM ベースのエージェントにおける幻覚を減らし、知識-grounded reasoning を改善します。 unstructured text から学習された KG のための Chain of Explorations (CoE) を導入します。

ABSTRACT

Ensuring factual accuracy while maintaining the creative capabilities of Large Language Model Agents (LMAs) poses significant challenges in the development of intelligent agent systems. LMAs face prevalent issues such as information hallucinations, catastrophic forgetting, and limitations in processing long contexts when dealing with knowledge-intensive tasks. This paper introduces a KG-RAG (Knowledge Graph-Retrieval Augmented Generation) pipeline, a novel framework designed to enhance the knowledge capabilities of LMAs by integrating structured Knowledge Graphs (KGs) with the functionalities of LLMs, thereby significantly reducing the reliance on the latent knowledge of LLMs. The KG-RAG pipeline constructs a KG from unstructured text and then performs information retrieval over the newly created graph to perform KGQA (Knowledge Graph Question Answering). The retrieval methodology leverages a novel algorithm called Chain of Explorations (CoE) which benefits from LLMs reasoning to explore nodes and relationships within the KG sequentially. Preliminary experiments on the ComplexWebQuestions dataset demonstrate notable improvements in the reduction of hallucinated content and suggest a promising path toward developing intelligent systems adept at handling knowledge-intensive tasks.

研究の動機と目的

• 知識集約型タスクにおける事実性の不正確さ（幻覚）とメモリ制約の課題を動機づけ、対処する。
• unstructured text から同質の知識グラフを構築し、推論の根拠付けに KGQA を用いるという KG-RAG パイプラインを提案する。
• 外部の更新可能な知識グラフを統合して潜在的な LLM の知識への依存を低減する。
• 正確な回答へ向けて KG を探索する新しい検索アルゴリズム、Chain of Explorations (CoE) を導入する。

提案手法

• Storage: テキストから (entity, relation, entity) トリプルを 6-shot prompting LLM で抽出し、ネストされた関係のハイパーノードを構築し、ベクトルストア内の埋め込み付き KG に格納する。
• Retrieval: KG 上で Chain of Explorations (CoE) を適用し、計画、KG ルックアップ（vectorDB および Cypher クエリ）、評価により関連経路を選択する。
• Answer Generation: LLM を、KG由来の文脈のみに依存するよう制約し、標準的な RAG プロンプトを用いて回答を生成する。
• KG Construction Details: ネスト構造をモデル化するトリプルハイパーノードを定義し、単一ノード内で多層の関係を可能にする。すべてのノード/ハイパーノード/関係を埋め込んで密な検索を可能にする。
• Experimental Setup: ComplexWebQuestions データセット、KG のストレージに NebulaGraph、Redis で SentenceTransformer 埋め込み、LLM に GPT-4 Turbo 1106-Preview を使用する；EM、F1、Accuracy、幻覚指標で評価する。

Figure 1: shows the three core components of an AI agent: perception, brain, and action. The brain component integrates LLMs for dynamic reasoning and decision-making, alongside KGs for structured knowledge and memory storage.

実験結果

リサーチクエスチョン

• RQ1 KG-RAG は従来の RAG 手法と比較して知識集約型タスクにおける事実的な根拠付けを改善し、幻覚を減らすことができるか？
• RQ2 Chain of Explorations (CoE) の検索手法は KG を効果的にナビゲートして、正確な KGQA を支援できるか？
• RQ3 ComplexWebQuestions における KG-RAG の性能は、埋め込みベースの RAG アプローチと比較して EM、F1、正確さ、幻覚率の点でどうか？

主な発見

モデル	EM	F1 スコア	正確さ	幻覚
Human	63	-	-	-
MHQA-GRN	33.2	-	-	-
Embedding-RAG	28	37	46	30
KG-RAG	19	25	32	15

• KG-RAG は CWQ で EM 19%、F1 25%、Accuracy 32%、幻覚率 15% を達成し、いくつかのベースラインと比較して事実性の根拠付けが改善されるが、正確な指標ではトップモデルには及ばない。
• Embedding-RAG と比べて KG-RAG は EM（19% 対 28%）および F1（25% 対 37%）が低く、正確さ（32% 対 46%）も低いが、幻覚率は顕著に低い（15% 対 30%）。
• 平均して Chain of Explorations は 問題ノードへ到達するまで 4–5 ステップを要し、KG ガイド付きの反復的検索プロセスを示す。
• このアプローチは、複雑で複数回の推論が必要な問題に対して、単純な密な検索よりも動的で構造化された知識（KG）の潜在的な利点を示すが、効率性とカバレッジの改善余地がある。
• 制約として、KG 構築のデータ品質とコスト、スニペット選択のため開始ノードが特定できないクエリがいくつかある点が挙げられる。

(a)