[論文レビュー] Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation

Mufei Li, Siqi Miao+1 more|arXiv (Cornell University)|Oct 28, 2024

Topic Modeling被引用数 4

ひとこと要約

SubgraphRAGは、方向性のある構造的符号化を用いた並列トリプルスコアリング機構により、知識グラフから柔軟な部分グラフを効率的に取得する軽量で効率的なリtrieval-augmented generationフレームワークを提案する。この手法により、最小限のLLMコールで高品質で説明可能な推論が可能となり、WebQSPおよびCWQベンチマークで最先端の精度を達成する。 hallucinationの低減と真実性の根拠づけを実現し、微調整を伴わず小規模（Llama3.1-8B）および大規模（GPT-4o）モデルにおいても効率性とスケーラビリティを維持する。

ABSTRACT

Large Language Models (LLMs) demonstrate strong reasoning abilities but face limitations such as hallucinations and outdated knowledge. Knowledge Graph (KG)-based Retrieval-Augmented Generation (RAG) addresses these issues by grounding LLM outputs in structured external knowledge from KGs. However, current KG-based RAG frameworks still struggle to optimize the trade-off between retrieval effectiveness and efficiency in identifying a suitable amount of relevant graph information for the LLM to digest. We introduce SubgraphRAG, extending the KG-based RAG framework that retrieves subgraphs and leverages LLMs for reasoning and answer prediction. Our approach innovatively integrates a lightweight multilayer perceptron with a parallel triple-scoring mechanism for efficient and flexible subgraph retrieval while encoding directional structural distances to enhance retrieval effectiveness. The size of retrieved subgraphs can be flexibly adjusted to match the query's need and the downstream LLM's capabilities. This design strikes a balance between model complexity and reasoning power, enabling scalable and generalizable retrieval processes. Notably, based on our retrieved subgraphs, smaller LLMs like Llama3.1-8B-Instruct deliver competitive results with explainable reasoning, while larger models like GPT-4o achieve state-of-the-art accuracy compared with previous baselines -- all without fine-tuning. Extensive evaluations on the WebQSP and CWQ benchmarks highlight SubgraphRAG's strengths in efficiency, accuracy, and reliability by reducing hallucinations and improving response grounding.

研究の動機と目的

• 知識グラフベースのリtrieval-augmented generation（RAG）におけるリtrieval効率性と有効性のトレードオフを解消すること。
• 固定構造（例：パス）ではなく、柔軟で関連性の高い部分グラフをリtrievalすることで、 hallucination を低減し、回答の真実性を向上させること。
• 取得したコンテキストのサイズと関連性を最適化することで、最小限のLLMコールで高性能な推論を実現すること。
• 微調整を伴わず、小規模（例：Llama3.1-8B-Instruct）および大規模（例：GPT-4o）LLMを効果的にサポートし、スケーラビリティと一般化能力を確保すること。
• 取得した部分グラフを通じて追跡可能で根拠に基づいた推論を提供することで、説明可能性を向上させること。

提案手法

• 知識グラフから関連する部分グラフを効率的にリtrievalするための軽量なマルチレイヤーパーセプトロンと並列トリプルスコアリングを導入する。
• エンティティ間の方向性のある構造的距離を符号化することで、リtrievalの関連性を向上させ、マルチホップ関係を捉える。
• クエリの複雑さとLLMのコンテキスト窓の制約に基づいて、動的に部分グラフのサイズを調整し、情報の豊かさと処理能力のバランスを取る。
• 1クエリあたり1回のLLMコールで推論を実行し、従来の方法で一般的な複数回のLLMコールに起因する遅延とコストを回避する。
• リtrievalされた部分グラフをコンテキストとして用いるリtrieval-augmentedプロンプティング戦略を採用し、微調整を施さないLLMが答えと説明を生成する。
• 小規模（例：Llama3.1-8B-Instruct）および大規模（例：GPT-4o）LLMをサポートし、モデルの微調整なしにパフォーマンスのスケーラビリティを実現する。

Figure 1: The framework of SubgraphRAG. Retrieved subgraphs consist of relevant triples that are extracted in parallel. Retrieved subgraphs are flexible in their forms and their sizes. In the above example, the relevant subgraph has flexible and complex forms (neither trees nor paths).

実験結果

リサーチクエスチョン

• RQ1 知識グラフベースのRAGにおける複雑でマルチホップな推論において、部分グラフリtrievalをどのようにして効率的かつ効果的に実現できるか？
• RQ2 軽量で反復的でないリtrieverが、LLM駆動またはGNNベースのリtrieバーよりも精度と効率性において優れるか？
• RQ3 固定構造のリtrieval（例：パス）と比較して、部分グラフの柔軟性が推論パフォーマンスにどの程度向上効果をもたらすか？
• RQ4 取得されたトリプル数がLLMのパフォーマンスにどのように影響するか、また異なるモデルサイズに適応する最適化方法は何か？
• RQ5 微調整を伴わず、リtrieval-augmentedフレームワークが hallucination を低減し、真実性の根拠づけを向上させられるか？

主な発見

• SubgraphRAGは、モデルの微調整を伴わず、WebQSPおよびCWQベンチマークで最先端の精度を達成した。
• CWQ-subデータセットでは、RoGと比較して非リtrieバル（NR）回答（＝hallucinationを示す）が10ポイント以上低下し、10.3%から1.0%に減少した。
• 知識グラフ内に答えが存在しない質問に対しては、WebQSPでは拒否率が2%から19%に、CWQでは7%から29%に上昇し、真実性の確保と hallucination の低減が顕著に示された。
• Llama3.1-8B-InstructはSubgraphRAGで競争力あるパフォーマンスを示したが、100個程度以上のトリプルをリtrievalすると性能が低下し、不要なコンテキストへの感受性が顕在化した。
• GPT-4o-miniは、取得トリプル数の増加に伴い一貫したパフォーマンス向上を示し、ノイズや重複コンテキストに対してより高いロバスト性を示した。
• ベースライン手法（例：RoG、G-Retriever）にリtrieバを置き換えると、性能が著しく低下し、主な性能向上は提案されたリtrieバ設計に起因することが確認された。

Figure 2: The prompt used in SubgraphRAG. Concrete examples can be found in Appendix D ).