[논문 리뷰] GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

Costas Mavromatis, George Karypis|arXiv (Cornell University)|2024. 05. 30.

Topic Modeling인용 수 13

한 줄 요약

GNN-RAG는 Knowledge graphs에서 dense subgraph 정보를 검색하기 위해 Graph Neural Networks를 활용하고, 최단 추론 경로를 구두화하여 검색 증강 KGQA에서 튜닝된 LLM을 안내하며, Retrieval Augmentation(RA) 부스트로 WebQSP와 CWQ에서 최첨단 성과를 달성합니다.

ABSTRACT

Knowledge Graphs (KGs) represent human-crafted factual knowledge in the form of triplets (head, relation, tail), which collectively form a graph. Question Answering over KGs (KGQA) is the task of answering natural questions grounding the reasoning to the information provided by the KG. Large Language Models (LLMs) are the state-of-the-art models for QA tasks due to their remarkable ability to understand natural language. On the other hand, Graph Neural Networks (GNNs) have been widely used for KGQA as they can handle the complex graph information stored in the KG. In this work, we introduce GNN-RAG, a novel method for combining language understanding abilities of LLMs with the reasoning abilities of GNNs in a retrieval-augmented generation (RAG) style. First, a GNN reasons over a dense KG subgraph to retrieve answer candidates for a given question. Second, the shortest paths in the KG that connect question entities and answer candidates are extracted to represent KG reasoning paths. The extracted paths are verbalized and given as input for LLM reasoning with RAG. In our GNN-RAG framework, the GNN acts as a dense subgraph reasoner to extract useful graph information, while the LLM leverages its natural language processing ability for ultimate KGQA. Furthermore, we develop a retrieval augmentation (RA) technique to further boost KGQA performance with GNN-RAG. Experimental results show that GNN-RAG achieves state-of-the-art performance in two widely used KGQA benchmarks (WebQSP and CWQ), outperforming or matching GPT-4 performance with a 7B tuned LLM. In addition, GNN-RAG excels on multi-hop and multi-entity questions outperforming competing approaches by 8.9--15.5% points at answer F1.

연구 동기 및 목표

• 최신의 정확한 KG 정보를 활용하여 지식 기반 QA를 동기 부여하고 LLM 환각을 줄인다.
• KG 데이터에 대한 조밀한 서브그래프 추론을 위해 GNN을 활용한 검색 증강 접근 방식을 개발한다.
• KG 추론 경로를 구두화하여 LLM 입력으로 전달함으로써 그래프 기반 추론과 LLM 자연어 처리 간의 다리를 놓는다.
• 과도한 LLM 호출 없이 KGQA 성능을 더욱 높이기 위한 검색 증강을 탐구한다.

제안 방법

• 주어진 질문에 대해 GNN이 제안한 후보 답을 식별하기 위해 KG에서 입력으로 사용되는 조밀한 서브그래프를 사용한다.
• KG 경로를 연결하는 질문 엔티티와 GNN 제안 답 사이의 최단 KG 경로를 추출하여 KG 추론 흔적을 표현한다.
• 추출된 추론 경로를 구두화하고 이를 LLM 기반 RAG 파이프라인의 프롬프트로 제공하여 최종 답을 확정한다.
• 질문-관계 매칭에 대해 서로 다른 언어 모델을 사용하는 두 개의 GNN을 실험하여 검색된 정보를 다양화한다.
• 추론 경로 프롬프트에 대해 경량 LLM(예: LLaMA2-Chat-7B)을 미세조정하여 최종 KGQA 추론을 수행한다.
• GNN 유도 경로를 RoG(LLM 기반 검색) 또는 다중 GNN/LM retriever를 결합하여 회상(recall)을 증가시키는 Retrieval Augmentation(RA)을 도입한다.

Figure 2 : The landscape of existing KGQA methods. GNN-based methods reason on dense subgraphs as they can handle complex and multi-hop graph information. LLM-based methods employ the same LLM for both retrieval and reasoning due to its ability to understand natural language.

실험 결과

연구 질문

• RQ1 GNN 기반 검색이 조밀한 KG 서브그래프를 활용하면 순수 LLM 기반 검색에 비해 KGQA 추론이 향상되는가?
• RQ2 질문 엔티티에서 후보 답으로의 최단 경로 추론 흔제가 LLM 추론에 신뢰할 수 있는 입력을 제공하는가?
• RQ3 GNN 및 LLM 파생 경로를 결합한 검색 증강(RA)이 더 우수한 KGQA 성능과 신뢰성을 제공하는가?

주요 결과

• Gnn-Rag은 WebQSP 및 CWQ에서 여러 지표에 대해 최첨단 성능을 달성하며 여러 베이스라인을 능가한다.
• GNN 기반 검색은 다중 홉 KGQA를 효과적으로 처리하고 필요한 추론 경로를 검색하여 복잡한 질문에서 F1을 크게 향상시킨다.
• 검색 증강(RA)은 성능을 추가로 향상시키며, Gnn-Rag +RA는 RoG를 능가하고 더 강한 LLM 기반 방법과 일치하거나 초과하는 경우가 많으며 더 작은 LLM(7B)을 사용한다.
• GNN 추론은 다중 홉 질문에 대해 더 나은 답 기억 및 경로 다양성을 제공하고 LLM은 최종 추론을 위한 언어 이해에 기여한다.
• GNN 추론은 적절한 다중 홉 사실을 제공하고 추론 경로에서 잘못되거나 무관한 정보를 줄여 충실도 개선을 보인다.
• Gnn-Rag은 더 약한 LLM을 substantial하게 개선하고 재훈련 없이 다양한 LLM과 통합될 수 있다.

Figure 3 : Gnn-Rag : The GNN reasons over a dense subgraph to retrieve candidate answers, along with the corresponding reasoning paths (shortest paths from question entities to answers). The retrieved reasoning paths –optionally combined with retrieval augmentation (RA)– are verbalized and given to