[논문 리뷰] ERAGent: Enhancing Retrieval-Augmented Language Models with Improved Accuracy, Efficiency, and Personalization

Yunxiao Shi, Xing Zi외 4명|arXiv (Cornell University)|2024. 05. 06.

Topic Modeling인용 수 5

한 줄 요약

ERAGent는 RAG 기반 QA에서 검색 품질, 효율성 및 사용자 맞춤 응답을 개선하기 위해 Enhanced Question Rewriter, Knowledge Filter, Retrieval Trigger, 및 Experiment Learner를 도입합니다.

ABSTRACT

Retrieval-augmented generation (RAG) for language models significantly improves language understanding systems. The basic retrieval-then-read pipeline of response generation has evolved into a more extended process due to the integration of various components, sometimes even forming loop structures. Despite its advancements in improving response accuracy, challenges like poor retrieval quality for complex questions that require the search of multifaceted semantic information, inefficiencies in knowledge re-retrieval during long-term serving, and lack of personalized responses persist. Motivated by transcending these limitations, we introduce ERAGent, a cutting-edge framework that embodies an advancement in the RAG area. Our contribution is the introduction of the synergistically operated module: Enhanced Question Rewriter and Knowledge Filter, for better retrieval quality. Retrieval Trigger is incorporated to curtail extraneous external knowledge retrieval without sacrificing response quality. ERAGent also personalizes responses by incorporating a learned user profile. The efficiency and personalization characteristics of ERAGent are supported by the Experiential Learner module which makes the AI assistant being capable of expanding its knowledge and modeling user profile incrementally. Rigorous evaluations across six datasets and three question-answering tasks prove ERAGent's superior accuracy, efficiency, and personalization, emphasizing its potential to advance the RAG field and its applicability in practical systems.

연구 동기 및 목표

• 표준 RAG의 한계에 대응하여 복잡한 쿼리에 대한 검색 품질 문제, 장기 서비스에서의 중복 재검색, 그리고 개인화 부족을 해결한다.
• 향상된 Question Rewriter, Retrieval Trigger, Knowledge Filter, Personalized LLM Reader, 및 Experiential Learner를 포함하는 메커니즘을 제안한다.
• 다양한 QA 작업과 데이터셋에 걸친 포괄적 실험을 통해 정확도, 효율성 및 개인화의 향상을 입증한다.

제안 방법

• 향상된 Question Rewriter를 도입하여 더 명확하고 세밀한 쿼리를 생성해 더 나은 검색을 가능하게 한다.
• 과거 맥락과 지식 경계에 기반해 외부 지식의 검색 여부를 결정하는 Retrieval Trigger를 구현한다.
• NLI를 사용하여 관련 검색 지식 중 단언(entailment) 기반만 남기도록 Knowledge Filter를 적용한다.
• 사용자 프로필을 프롬프트에 반영해 맞춤형 응답을 제공하는 Personalized LLM Reader를 사용한다.
• 상호작용으로 기억 지식 데이터베이스와 동적 사용자 프로필을 구축하여 효율성과 개인화를 개선하는 Experiential Learner를 활용한다.
• 6개 데이터셋에 대해 단일 라운드 오픈 도메인 QA, 단일 라운드 다중 경로 QA, 및 다중 세션 다중 라운드 QA를 평가한다.

실험 결과

연구 질문

• RQ1 향상된 Question Rewriter가 전통적인 Question Rewriter보다 정답 정확도를 향상시키는가?
• RQ2 Knowledge Filter가 무관한 맥락을 효과적으로 걸러 응답 품질을 향상시키는가?
• RQ3 다중 세션 환경에서 개인화된 응답이 비개인화된 응답과 비교하여 어떤 차이를 보이는가?
• RQ4 Experiential Learner가 품질을 해치지 않으면서 검색 효율성을 향상시키는가?

주요 결과

방법	데이터셋	EM	정밀도	재현율	히트율
Standard	NQ	38.00	54.21	77.38	55.00
Rewriter	NQ	35.50	55.16	73.48	54.00
Rewriter+	NQ	38.00	57.24	73.93	55.50
Filter	NQ	36.00	53.82	76.89	52.50
Rewriter+Filter	NQ	40.50	56.84	75.50	58.50
Standard	PopQA	29.50	68.43	44.38	35.00
Rewriter	PopQA	30.00	64.46	46.50	35.00
Rewriter+	PopQA	32.00	69.54	47.59	37.50
Filter	PopQA	34.00	70.17	46.17	38.00
Rewriter+Filter	PopQA	36.00	69.13	48.40	40.50
Standard	AmbigNQ	38.00	62.03	64.45	52.00
Rewriter	AmbigNQ	41.00	65.35	63.78	55.50
Rewriter+	AmbigNQ	45.50	67.70	65.84	58.50
Filter	AmbigNQ	39.50	65.18	64.88	55.00
Rewriter+Filter	AmbigNQ	47.00	69.82	67.06	63.50

• Enhanced Question Rewriter와 Knowledge Filter의 결합(Rewriter+Filter)이 단일 라운드 QA 데이터세트에서 종종 최상의 전반적 성능을 제공합니다.
• Enhanced Question Rewriter는 특히 더 어려운 데이터세트에서 벤치마크 대비 성능을 지속적으로 향상시킵니다.
• Knowledge Filter는 PopQA와 AmbigNQ에서 성능을 향상시키고, NQ에서는 단언 기준이 엄격하여 다소 감소가 발생합니다.
• 다중 경로 추론 과제에서 Rewriter+Filter가 가장 큰 이득을 제공하며, 재작성과 필터링 간의 상호 작용 효과를 강조합니다.
• 다중 세션 실험에서 사용자 프로필 및 기억 강화에 의한 개인화가 비개인화 기준선에 비해 응답 품질과 효율성을 향상시킵니다.