[논문 리뷰] Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems

Yunxiao Shi, Xing Zi외 4명|arXiv (Cornell University)|2024. 07. 15.

AI-based Problem Solving and Planning인용 수 4

한 줄 요약

이 논문은 Retrieval-Augmented Generation (RAG) 시스템에서 검색 품질과 시스템 효율성을 향상시키기 위해 Query Rewriter+, Knowledge Filter, Memory Knowledge Reservoir, Retrieval Trigger의 네 모듈이 상호보완적으로 작용하는 프레임워크를 제안한다. 다수의 의도 정제된 질의를 생성하고, 관련 없는 지식을 필터링하며, 이전 결과를 캐시하고, 동적으로 검색을 트리거하는 방식으로, 여섯 개인 QA 벤치마크에서 사실적 정확도를 향상시키고 중복 계산을 줄인다.

ABSTRACT

Retrieval-augmented generation (RAG) techniques leverage the in-context learning capabilities of large language models (LLMs) to produce more accurate and relevant responses. Originating from the simple 'retrieve-then-read' approach, the RAG framework has evolved into a highly flexible and modular paradigm. A critical component, the Query Rewriter module, enhances knowledge retrieval by generating a search-friendly query. This method aligns input questions more closely with the knowledge base. Our research identifies opportunities to enhance the Query Rewriter module to Query Rewriter+ by generating multiple queries to overcome the Information Plateaus associated with a single query and by rewriting questions to eliminate Ambiguity, thereby clarifying the underlying intent. We also find that current RAG systems exhibit issues with Irrelevant Knowledge; to overcome this, we propose the Knowledge Filter. These two modules are both based on the instruction-tuned Gemma-2B model, which together enhance response quality. The final identified issue is Redundant Retrieval; we introduce the Memory Knowledge Reservoir and the Retriever Trigger to solve this. The former supports the dynamic expansion of the RAG system's knowledge base in a parameter-free manner, while the latter optimizes the cost for accessing external knowledge, thereby improving resource utilization and response efficiency. These four RAG modules synergistically improve the response quality and efficiency of the RAG system. The effectiveness of these modules has been validated through experiments and ablation studies across six common QA datasets. The source code can be accessed at https://github.com/Ancientshi/ERM4.

연구 동기 및 목표

• 단일 질의 검색의 한계를 해결하기 위해, 정보 포화 상태와 의도 일치도 부족으로 인한 성능 저하를 겪는 RAG 시스템의 문제점을 해결한다.
• 외부 소스에서 검색된 관련 없는 지식을 제거하여 응답의 잡음을 줄이고 사실적 정확도를 향상시킨다.
• 자주 액세스되는 지식을 캐시하고 외부 데이터 접근 시점을 동적으로 관리하여 중복 검색을 완화한다.
• 파rameter-free 메모리 저장소와 검색 트리거 메커니즘을 통해 시스템의 효율성과 확장성을 향상시킨다.
• 이러한 모듈들을 모듈식 RAG 파이프라인에 통합하여 융통성 있고 고성능의 QA 시스템을 구축한다.

제안 방법

• 단일 추론 단계에서 다수의 의미적으로 다양하고 명확한 질의를 동시에 생성할 수 있는, 미세조정된 Gemma-2B 기반의 Query Rewriter+를 제안한다.
• 자연어 추론(NLI) 기반의 미세조정된 Knowledge Filter 모듈을 구현하여, 관련 없는 검색된 문단을 평가하고 제거한다.
• 기존의 파라미터가 없는 Memory Knowledge Reservoir를 도입하여 이전에 본 질문-답변 쌍을 캐시하고 재사용함으로써 외부 검색의 중복을 방지한다.
• 동적 임계값을 사용하여 언제 외부 지식에 접근할지를 결정하는 Retrieval Trigger 메커니즘을 설계하여 비용과 지연 시간을 최적화한다.
• 네 모듈을 통합된 RAG 파이프라인으로 통합하여 기본적인 '검색-그런 다음 읽기' 방식을 상호보완적이고 다단계적인 프로세스로 대체한다.
• 모든 구성 요소를 코칭된 데이터셋을 기반으로 지도 미세조정을 통해 훈련 및 평가하며, 모든 모델은 지시 미세조정된 Gemma-2B 아키텍처를 기반으로 한다.

실험 결과

연구 질문

• RQ1 단일 입력 질문으로부터 다수의 다양한 질의를 생성하는 것이 RAG 시스템에서 검색 커버리지 향상과 정보 포화 상태 감소에 상당한 기여를 할 수 있는가?
• RQ2 통합된 질의 재작성 및 명확화 모듈이 사용자 질문의 의도 이해를 향상시키고 모호성을 줄이는 데 얼마나 효과적인가?
• RQ3 미세조정된 NLI 기반의 Knowledge Filter가 검색된 문단에서 관련 없거나 노이즈가 많은 컨텍스트를 제거하여 응답 품질을 향상시키는 데 얼마나 효과적인가?
• RQ4 파rameter-free 메모리 저장소가 모델 파라미터 증가 없이도 중복 검색을 줄이고 응답 효율성을 향상시키는 데 기여할 수 있는가?
• RQ5 동적 RAG 시스템에서 정확도와 효율성을 최적화하기 위해 검색 트리거 메커니즘에서 어떤 임계값 전략이 가장 효과적인가?

주요 결과

• Query Rewriter+ 모듈은 의미적으로 다样的인 다수의 질의를 생성함으로써 검색 품질을 크게 향상시키며, 관련 답변 키워드를 검색할 확률을 높인다.
• Knowledge Filter 모듈은 관련 없는 검색된 문단을 제거하여 응답의 잡음을 줄이고, LLM이 생성하는 답변의 사실적 정확도와 강건성을 향상시킨다.
• Memory Knowledge Reservoir는 이전에 검색된 지식을 캐시하고 재사용함으로써 외부 검색의 중복을 줄여 시스템 효율성을 향상시킨다.
• Retrieval Trigger 메커니즘은 외부 지식에 접근할 시점을 동적으로 제어하여 불필요한 호출을 줄이고 자원 활용도를 최적화한다.
• 여섯 개인 공통 QA 데이터셋에서 수행한 추론 분석 결과, 전체 네 모듈 시스템은 기준 RAG 파이프라인에 비해 뛰어난 응답 품질과 효율성을 확보한다.
• 제안된 프레임워크는 유의미하고 고품질의 정보만을 생성에 사용함으로써 사실 일관성을 향상시키고 환각 현상을 감소시킨다.