[논문 리뷰] Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation

Mufei Li, Siqi Miao외 1명|arXiv (Cornell University)|2024. 10. 28.

Topic Modeling인용 수 4

한 줄 요약

SubgraphRAG는 지식 그래프에서 방향성 구조 인코딩을 사용한 병렬 삼중체 점수 매기기 메커니즘을 통해 민감도 높은 하위그래프를 효율적으로 검색하는 경량이며 효율적인 검색 보강 생성 프레임워크를 제안한다. 이는 최소한의 LLM 호출로 고품질의 설명 가능성을 갖춘 추론을 가능하게 하며, 피드백 없는 상태에서 WebQSP 및 CWQ 벤치마크에서 최신 기술 수준의 정확도를 달성한다. 또한 소형(Llama3.1-8B) 및 대형(GPT-4o) 모델 모두에서 정확성과 확장성, 효율성을 유지한다.

ABSTRACT

Large Language Models (LLMs) demonstrate strong reasoning abilities but face limitations such as hallucinations and outdated knowledge. Knowledge Graph (KG)-based Retrieval-Augmented Generation (RAG) addresses these issues by grounding LLM outputs in structured external knowledge from KGs. However, current KG-based RAG frameworks still struggle to optimize the trade-off between retrieval effectiveness and efficiency in identifying a suitable amount of relevant graph information for the LLM to digest. We introduce SubgraphRAG, extending the KG-based RAG framework that retrieves subgraphs and leverages LLMs for reasoning and answer prediction. Our approach innovatively integrates a lightweight multilayer perceptron with a parallel triple-scoring mechanism for efficient and flexible subgraph retrieval while encoding directional structural distances to enhance retrieval effectiveness. The size of retrieved subgraphs can be flexibly adjusted to match the query's need and the downstream LLM's capabilities. This design strikes a balance between model complexity and reasoning power, enabling scalable and generalizable retrieval processes. Notably, based on our retrieved subgraphs, smaller LLMs like Llama3.1-8B-Instruct deliver competitive results with explainable reasoning, while larger models like GPT-4o achieve state-of-the-art accuracy compared with previous baselines -- all without fine-tuning. Extensive evaluations on the WebQSP and CWQ benchmarks highlight SubgraphRAG's strengths in efficiency, accuracy, and reliability by reducing hallucinations and improving response grounding.

연구 동기 및 목표

• 지식 그래프 기반 검색 보강 생성(RAG)에서 검색 효율성과 효과성 간의 상충 관계를 해결하기 위해.
• 고정된 구조(예: 경로)가 아닌 민감도 높은 관련 하위그래프를 검색하여 환각 현상을 줄이고 답변의 진실성 확보를 위해.
• 검색된 컨텍스트 크기와 관련성을 최적화하여 최소한의 LLM 호출로 고성능 추론을 가능하게 하기 위해.
• 피드백 없는 환경에서 소형 및 대형 LLM 모두를 효과적으로 지원하여 확장성과 일반화 능력을 확보하기 위해.
• 검색된 하위그래프를 통해 추적 가능하고 증거 기반의 추론을 제공함으로써 설명 가능성 향상하기 위해.

제안 방법

• 지식 그래프에서 관련 하위그래프를 효율적으로 검색하기 위해 병렬 삼중체 점수 매기기 기반의 경량 다층 퍼셉트론을 도입한다.
• 엔티티 간 방향성 구조적 거리를 인코딩하여 검색 관련성 향상과 다단계 관계의 포착을 강화한다.
• 질의 복잡도와 LLM 컨텍스트 창 크기 제약 조건을 기반으로 하위그래프 크기를 동적으로 조정하여 정보의 풍부성와 처리 능력의 균형을 확보한다.
• 각 질의에 대해 단일 LLM 호출만을 사용하여 추론을 수행함으로써 기존 방법에서 흔한 다중 LLM 호출의 지연과 비용을 방지한다.
• 검색 보강 프ompting 전략을 활용하여 검색된 하위그래프를 피드백 없는 LLM의 컨텍스트로 활용해 답변과 설명을 생성한다.
• 소형(Llama3.1-8B-Instruct) 및 대형(GPT-4o) LLM 모두를 지원하여 모델 피드백 없이 성능 확장성을 확보한다.

Figure 1: The framework of SubgraphRAG. Retrieved subgraphs consist of relevant triples that are extracted in parallel. Retrieved subgraphs are flexible in their forms and their sizes. In the above example, the relevant subgraph has flexible and complex forms (neither trees nor paths).

실험 결과

연구 질문

• RQ1 지식 그래프 기반 RAG에서 복잡한 다단계 추론을 위해 하위그래프 검색을 어떻게 효율적이고 효과적으로 만들 수 있는가?
• RQ2 경량이며 반복적이지 않은 검색기의 정확성과 효율성에서 LLM 기반 또는 GNN 기반 검색 방법을 능가할 수 있는가?
• RQ3 고정된 구조 검색(예: 경로)에 비해 하위그래프의 유연성은 추론 성능 향상에 어느 정도 기여하는가?
• RQ4 검색된 삼중체 수가 LLM 성능에 미치는 영향은 무엇이며, 다양한 모델 크기에 따라 어떻게 최적화할 수 있는가?
• RQ5 피드백 없이 검색 보강 프레임워크가 환각 현상을 줄이고 진실성 기반 추론을 향상시킬 수 있는가?

주요 결과

• SubgraphRAG는 피드백 없는 상태에서 WebQSP 및 CWQ 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 이는 이전 베이스라인을 능가한다.
• CWQ-sub 데이터셋에서 SubgraphRAG는 RoG 대비 비검색 답변(NR) 비율을 10퍼센트 포인트 이상 감소시켜 10.3%에서 1.0%로 하락시켰다. 이는 환각 현상 감소를 의미한다.
• 지식 그래프에 답변이 없는 질문에 대해서는 WebQSP에서 거절률이 2%에서 19%로, CWQ에서 7%에서 29%로 증가하여 진실성 확보 능력 향상과 환각 감소를 보여준다.
• Llama3.1-8B-Instruct는 SubgraphRAG와 함께 경쟁 가능한 성능을 보였지만, 약 100개 이상의 삼중체를 검색할 경우 성능 저하가 발생하여 불필요한 컨텍스트에 민감함을 보였다.
• GPT-4o-mini는 더 많은 삼중체를 검색할수록 일관된 성능 향상을 보였으며, 노이즈나 중복 컨텍스트에 더 강건함을 입증했다.
• 기본 검색기(RoG, G-Retriever 등)로 교체할 경우 성능이 유의미하게 저하되어 제안된 검색기 설계가 핵심 성과 기여 요소임을 확인했다.

Figure 2: The prompt used in SubgraphRAG. Concrete examples can be found in Appendix D ).