[논문 리뷰] WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs

Weijian Xie, Xuefeng Liang외 4명|arXiv (Cornell University)|2024. 08. 14.

Semantic Web and Ontologies인용 수 6

한 줄 요약

WeKnow-RAG는 도메인별 지식 그래프를 다단계 웹 검색과 결합한 RAG 시스템에 더해 자체 평가 메커니즘을 도입하여 다양한 도메인에서의 환각을 줄이고 사실 정확성을 향상시킨다. 도메인 역학에 따라 KG 기반 및 웹 기반 검색을 적응시키고 CRAG 작업에서 경쟁력 있는 성능을 보인다.

ABSTRACT

Large Language Models (LLMs) have greatly contributed to the development of adaptive intelligent agents and are positioned as an important way to achieve Artificial General Intelligence (AGI). However, LLMs are prone to produce factually incorrect information and often produce "phantom" content that undermines their reliability, which poses a serious challenge for their deployment in real-world scenarios. Enhancing LLMs by combining external databases and information retrieval mechanisms is an effective path. To address the above challenges, we propose a new approach called WeKnow-RAG, which integrates Web search and Knowledge Graphs into a "Retrieval-Augmented Generation (RAG)" system. First, the accuracy and reliability of LLM responses are improved by combining the structured representation of Knowledge Graphs with the flexibility of dense vector retrieval. WeKnow-RAG then utilizes domain-specific knowledge graphs to satisfy a variety of queries and domains, thereby improving performance on factual information and complex reasoning tasks by employing multi-stage web page retrieval techniques using both sparse and dense retrieval methods. Our approach effectively balances the efficiency and accuracy of information retrieval, thus improving the overall retrieval process. Finally, we also integrate a self-assessment mechanism for the LLM to evaluate the trustworthiness of the answers it generates. Our approach proves its outstanding effectiveness in a wide range of offline experiments and online submissions.

연구 동기 및 목표

• 지식 그래프(KG)와 웹 검색을 Retrieval-Augmented Generation(RAG) 프레임워크에 통합하여 LLM 기반 QA의 사실 정확도를 향상시키고 환각을 줄인다.
• 다양한 도메인에 대해 KG 구동 정보와 웹 기반 정보를 균형 있게 활용하는 도메인 적응형 검색 파이프라인을 개발한다.
• LLM이 답변의 신뢰도를 평가하고 지식을 선택적으로 공개하도록 하는 자체 평가 모듈을 도입한다.
• 오프라인 및 온라인 평가를 포함한 Comprehensive RAG Benchmark(CRAG)에서의 효과를 입증한다.

제안 방법

• KG 워크플로우와 웹 검색 워크플로우를 결합한 엔드-투-엔드 WeKnow-RAG 파이프라인.
• 다단계 웹 검색: 1단계 희소 BM25 검색으로 K 후보를 생성하고, 2단계 희소 BM25 + 밀집 임베딩 유사성 및 재정렬(bge-large-en-v1.5, bge-reranker-large)을 사용한 하이브리드 검색.
• 효율적 검색을 위한 파싱된 HTML의 토큰 단위 세분화를 통한 청크 분할.
• 자체 평가 메커니즘: LLM 출력이 신뢰도 수준(높음/중간/낮음)을 가지며, 신뢰도 임계치를 충족할 때만 답변을 반환하고, 그렇지 않으면 “I don’t know”를 출력한다.
• 도메인별 KG 구성(엔티티, 관계, 도메인 API); 도메인 분류를 통한 LLM 이용 후 도메인 단서와 구조화된 KG 질의; 규칙 기반 및 ML 기반의 시계열/수치/논리 추론으로 후처리.
• 도메인 정보 속도(정적, 느리게 변하는, 빠르게 변하는, 실시간)에 따라 KG 대 웹 기반 RAG의 가중치를 조정하는 통합적 적응 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 도메인별 지식 그래프와 웹 기반 RAG를 통합하면 사실 정확도가 향상되고 환각이 감소하는가?
• RQ2 희소 검색 후 밀집+재정렬 하이브리드의 다단계 검색 전략이 효율성과 정확도를 효과적으로 균형 있게 할 수 있는가?
• RQ3 자체 평가 메커니즘이 RAG의 잘못된 출력이나 불확실한 출력을 의미 있게 감소시키는가?
• RQ4 도메인별 정보 역학에 따라 KG와 웹 구성 요소를 어떻게 적응적으로 조합해야 하는가?
• RQ5 금융, 스포츠, 음악, 영화, 오픈 도메인에서 CRAG를 통한 성과 향상이 어느 정도 나타나는가?

주요 결과

• 해당 방법은 Task 3 Version 2에서 온라인 정확도 0.409, 환각 0.316, 누락 0.276, 점수 0.0929를 달성했다.
• 오프라인 테스트에서 네 도메인 분류 및 오픈 도메인 최적화를 사용할 때 단일 도메인 기준선보다 높은 점수(0.1550)를 달성하며 개선이 확인되었다.
• 일부 설정에서 청크 크기 750이 최적이며, 최종 결과에는 500으로 최종 결정되었다.
• 높은 임계치를 가진 신뢰도-레벨 자체 평가가 더 낮은 임계치보다 더 나은 점수를 냈다.
• KG 주도 질의는 높은 정확도와 낮은 오류율을 보일 수 있으며, 자가 평가가 있는 웹 기반 RAG는 다양한 소스를 노출시켜 환각을 완화한다.
• 이 접근법은 CRAG 벤치마크의 Task 3 최종 평가에서 3위를 차지했다.