[論文レビュー] GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

Costas Mavromatis, George Karypis|arXiv (Cornell University)|May 30, 2024

Topic Modeling被引用数 13

ひとこと要約

GNN-RAG は知識グラフから密な部分グラフ情報を取得するためにグラフニューラルネットワークを用い、最短の推論パスを言語化して調整されたLLMを retrieval-augmented KGQA の案内に活用し、Retrieval Augmentation (RA) 効果で WebQSP および CWQ において最先端の成果を達成する。

ABSTRACT

Knowledge Graphs (KGs) represent human-crafted factual knowledge in the form of triplets (head, relation, tail), which collectively form a graph. Question Answering over KGs (KGQA) is the task of answering natural questions grounding the reasoning to the information provided by the KG. Large Language Models (LLMs) are the state-of-the-art models for QA tasks due to their remarkable ability to understand natural language. On the other hand, Graph Neural Networks (GNNs) have been widely used for KGQA as they can handle the complex graph information stored in the KG. In this work, we introduce GNN-RAG, a novel method for combining language understanding abilities of LLMs with the reasoning abilities of GNNs in a retrieval-augmented generation (RAG) style. First, a GNN reasons over a dense KG subgraph to retrieve answer candidates for a given question. Second, the shortest paths in the KG that connect question entities and answer candidates are extracted to represent KG reasoning paths. The extracted paths are verbalized and given as input for LLM reasoning with RAG. In our GNN-RAG framework, the GNN acts as a dense subgraph reasoner to extract useful graph information, while the LLM leverages its natural language processing ability for ultimate KGQA. Furthermore, we develop a retrieval augmentation (RA) technique to further boost KGQA performance with GNN-RAG. Experimental results show that GNN-RAG achieves state-of-the-art performance in two widely used KGQA benchmarks (WebQSP and CWQ), outperforming or matching GPT-4 performance with a 7B tuned LLM. In addition, GNN-RAG excels on multi-hop and multi-entity questions outperforming competing approaches by 8.9--15.5% points at answer F1.

研究の動機と目的

• 最新で正確なKG情報を用いた知識根拠付きQAを動機づけ、LLMの幻覚を減らす。
• KGデータ上の密な部分グラフ推論を可能にするGNNを活用した retrieval-augmented 手法を開発する。
• KG推論パスを言語化してLLM入力として提供することで、グラフベースの推論とLLMの自然言語処理を橋渡しする。
• 過度なLLM呼び出しを避けつつ、KGQAの性能をさらに向上させる retrieval augmentation を探索する。

提案手法

• KGから取得した密な部分グラフをGNNへの入力として用い、与えられた質問に対する候補解を特定する。
• 質問の実体とGNN提案の回答を結ぶ最短KGパスを抽出してKG推論の跡を表現する。
• 抽出した推論パスを言語化し、回答確定のためにLLMベースのRAGパイプラインへのプロンプトとして入力する。
• 異なる言語モデルを用いた2つのGNNを用いて質問-関係のマッチングを実験し、取得情報を多様化する。
• 推論パスプロンプト上で軽量LLM（例：LLaMA2-Chat-7B）を微調整して最終的なKGQA推論を行う。
• GNN由来の経路をLLMベースの検索（RoG）や複数のGNN/LLMSリトリーバを組み合わせてRecallを高めることで、Retrieval Augmentation (RA) を導入する。

Figure 2 : The landscape of existing KGQA methods. GNN-based methods reason on dense subgraphs as they can handle complex and multi-hop graph information. LLM-based methods employ the same LLM for both retrieval and reasoning due to its ability to understand natural language.

実験結果

リサーチクエスチョン

• RQ1 純粋にLLMベースの検索と比べて、GNNベースの密なKGサブグラフの検索はKGQAの推論を改善しますか？
• RQ2 質問実体から候補解への最短経路推論跡はLLM推論の信頼できる入力を提供しますか？
• RQ3 GNNとLLM由来の経路を組み合わせた Retrieval Augmentation (RA) は、KGQAの性能と信頼性を向上させますか？

主な発見

• Gnn-Rag は複数の指標で WebQSP および CWQ において最先端の性能を達成し、いくつかのベースラインを上回る。
• GNNベースの検索はマルチホップKGQAを効果的に処理し、必要な推論パスを取得して複雑な質問でF1を大幅に改善する。
• Retrieval augmentation (RA) は性能をさらに高め、Gnn-Rag +RA は RoG を上回ることが多く、より強力なLLMベース手法に匹敵または上回りつつ、より小さなLLM（7B）を使用する。
• GNN推論はマルチホップ質問での回答リコールとパスの多様性を向上させ、LLMsは最終推論の言語理解に寄与する。
• Gnn-Rag は正確なマルチホップ事実を提供し、推論パス内の幻覚や不適切な情報を減少させることで信頼性の改善を示す。
• Gnn-Rag は弱いLLMを大幅に改善し、再学習なしでさまざまなLLMと統合できる。

Figure 3 : Gnn-Rag : The GNN reasons over a dense subgraph to retrieve candidate answers, along with the corresponding reasoning paths (shortest paths from question entities to answers). The retrieved reasoning paths –optionally combined with retrieval augmentation (RA)– are verbalized and given to