[논문 리뷰] KG-RAG: Bridging the Gap Between Knowledge and Creativity

Diego Sanmartin|arXiv (Cornell University)|2024. 05. 20.

Digital Innovation in Industries인용 수 16

한 줄 요약

KG-RAG는 지식 그래프와 검색 보강 생성(retrieval-augmented generation)을 결합해 LLM 기반 에이전트의 환각을 줄이고 지식에 근거한 추론을 향상시킨다. 비구조적 텍스트에서 학습된 KG에 대해 KGQA를 위한 Chain of Explorations(CoE)를 도입한다.

ABSTRACT

Ensuring factual accuracy while maintaining the creative capabilities of Large Language Model Agents (LMAs) poses significant challenges in the development of intelligent agent systems. LMAs face prevalent issues such as information hallucinations, catastrophic forgetting, and limitations in processing long contexts when dealing with knowledge-intensive tasks. This paper introduces a KG-RAG (Knowledge Graph-Retrieval Augmented Generation) pipeline, a novel framework designed to enhance the knowledge capabilities of LMAs by integrating structured Knowledge Graphs (KGs) with the functionalities of LLMs, thereby significantly reducing the reliance on the latent knowledge of LLMs. The KG-RAG pipeline constructs a KG from unstructured text and then performs information retrieval over the newly created graph to perform KGQA (Knowledge Graph Question Answering). The retrieval methodology leverages a novel algorithm called Chain of Explorations (CoE) which benefits from LLMs reasoning to explore nodes and relationships within the KG sequentially. Preliminary experiments on the ComplexWebQuestions dataset demonstrate notable improvements in the reduction of hallucinated content and suggest a promising path toward developing intelligent systems adept at handling knowledge-intensive tasks.

연구 동기 및 목표

• 지식 집약적 작업 중 LLM 기반 에이전트의 사실성 오류(환각)와 기억 한계 문제를 동기 부여하고 해결한다.
• 비구조적 텍스트로부터 동질적 지식 그래프를 구축하고 근거 추론을 위한 KGQA를 사용하는 KG-RAG 파이프라인을 제안한다.
• 외부의 업데이트 가능한 지식 그래프를 통합하여 잠재적 LLM 지식에 대한 의존도를 줄인다.
• 정확한 답을 찾기 위해 KG를 탐색하는 새로운 검색 알고리즘 Chain of Explorations(CoE)를 도입한다.

제안 방법

• 저장: 6-shot 프롬프트 LLM을 사용해 텍스트에서 (엔터티, 관계, 엔터티) 트리플을 추출하고 중첩 관계를 위한 트리플 하이노드를 구성; 임베딩을 벡터 저장소에 저장된 KG에 보관한다.
• 검색: KG 위에서 Chain of Explorations(CoE)를 적용하되, 계획 수립, KG 조회(vectorDB 및 Cypher 쿼리) 및 평가로 관련 경로를 선택하도록 안내한다.
• 답변 생성: 표준 RAG 프롬프트를 사용해 KG에서 도출된 맥락에만 의존하도록 제약된 LLM으로 답변을 생성한다.
• KG 구축 세부사항: 중첩 구조를 모델링하기 위해 트리플 하이노드를 정의하고 단일 노드 안에서 다층 관계를 가능하게 하며, 밀집 검색을 위한 모든 노드/하이노드/관계를 임베딩한다.
• 실험 설정: ComplexWebQuestions 데이터셋을 사용하고 KG 저장에 NebulaGraph, Redis의 SentenceTransformer 임베딩, LLM으로는 GPT-4 Turbo 1106-Preview를 사용한다; EM, F1, Accuracy, Hallucination 지표로 평가한다.

Figure 1: shows the three core components of an AI agent: perception, brain, and action. The brain component integrates LLMs for dynamic reasoning and decision-making, alongside KGs for structured knowledge and memory storage.

실험 결과

연구 질문

• RQ1 지식 집약적 작업에서 KG-RAG가 기존 RAG 방법에 비해 사실 기반 추론을 개선하고 환각을 줄일 수 있는가?
• RQ2 Chain of Explorations(CoE) 검색 방법이 KG를 효과적으로 탐색하여 정확한 KGQA를 지원하는가?
• RQ3 ComplexWebQuestions에서 KG-RAG의 성능이 임베딩 기반 RAG 접근법과 EM, F1, 정확도, 환각율 측면에서 어떻게 비교되는가?

주요 결과

모델	EM	F1 점수	정확도	환각
Human	63	-	-	-
MHQA-GRN	33.2	-	-	-
Embedding-RAG	28	37	46	30
KG-RAG	19	25	32	15

• KG-RAG는 CWQ에서 EM 19%, F1 25%, 정확도 32%, 환각율 15%를 달성해 일부 비교기준보다 사실 기반 추론이 향상되었음을 시사하지만 정확한 지표에서 최상위 모델에는 미치지 못한다.
• Embedding-RAG와 비교하면 KG-RAG는 EM(19% 대 28%), F1(25% 대 37%), 정확도(32% 대 46%)가 낮지만 환각율은 눈에 띄게 감소한다(15% 대 30%).
• 답변 노드에 도달하기 위해 평균 Chain of Explorations가 4–5단계로 탐색되었으며, KG가 안내하는 반복적 검색 프로세스를 보여준다.
• 이 접근법은 복잡하고 다중-hop 질문에서 순수한 밀집 검색보다 동적이고 구조화된 지식(KGs)의 잠재적 이점을 보여주지만 효율성 및 범위 향상의 여지가 있다.
• 제한점으로는 KG 구축의 데이터 품질 및 비용 제약과 발췌 선택으로 시작 노드가 식별되지 않은 일부 질문이 있다.

(a)