[논문 리뷰] Towards Understanding Retrieval Accuracy and Prompt Quality in RAG Systems

Shaohua Zhao, Yuheng Huang외 4명|arXiv (Cornell University)|2024. 11. 29.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 세 종류의 대규모 언어 모델(LM)과 여섯 개의 데이터셋을 대상으로 질문 응답 및 코드 생성 작업을 수행하는 데 있어, RAG(Retrieval-Augmented Generation) 배포 결정의 세 핵심 요소—RAG 사용 여부, 검색 범위, 검색된 지식의 통합 방법—에 대한 체계적인 실험 연구를 제시한다. 연구 결과, RAG 성능은 작업 유형과 모델에 따라 크게 달라지며, 질문 응답 작업의 경우 최적의 검색 문서 수는 5~10개로 일관되게 우월한 성능를 보이며, 코드 생성 작업의 경우 시나리오별 최적화가 필요하다. 또한 프롬프팅 기법은 코드 생성 성능 향상에 뚜렷한 영향을 미치지만, 질문 응답 작업에서는 미미한 향상만을 제공한다.

ABSTRACT

Retrieval-Augmented Generation (RAG) is a pivotal technique for enhancing the capability of large language models (LLMs) and has demonstrated promising efficacy across a diverse spectrum of tasks. While LLM-driven RAG systems show superior performance, they face unique challenges in stability and reliability. Their complexity hinders developers' efforts to design, maintain, and optimize effective RAG systems. Therefore, it is crucial to understand how RAG's performance is impacted by its design. In this work, we conduct an early exploratory study toward a better understanding of the mechanism of RAG systems, covering three code datasets, three QA datasets, and two LLMs. We focus on four design factors: retrieval document type, retrieval recall, document selection, and prompt techniques. Our study uncovers how each factor impacts system correctness and confidence, providing valuable insights for developing an accurate and reliable RAG system. Based on these findings, we present nine actionable guidelines for detecting defects and optimizing the performance of RAG systems. We hope our early exploration can inspire further advancements in engineering, improving and maintaining LLM-driven intelligent software systems for greater efficiency and reliability.

연구 동기 및 목표

• 실제 성능에 영향을 주는 Retrieval-Augmented Generation(RAG) 시스템의 기본 공학적 트레이드오프를 규명하고 분석하는 것.
• 다양한 작업과 모델 간에 일반적인 RAG 전략이 효과적인지 조사하는 것.
• 실무자들이 RAG를 언제, 어떻게 효과적으로 배포할 수 있을지에 대한 근거 기반 지침을 제공하는 것.
• 검색 범위와 프롬프팅 전략이 대규모 언어 모델(LM)의 후행 작업 정확도에 미치는 영향을 이해하는 것.

제안 방법

• 질문 응답 및 코드 생성 작업을 포함한 여섯 개의 데이터셋에서 세 대규모 언어 모델(LM)을 대상으로 체계적인 실험을 수행하였다.
• RAG 설계의 세 핵심 결정 요소—배포 선택, 검색 수량, 프롬프팅을 통한 지식 통합—을 평가하였다.
• 다양한 모델 및 작업 구성에서 작업별로 정의된 지표를 사용해 검색 정확도와 프롬프팅 품질을 측정하였다.
• 검색 범위와 프롬프팅 기법의 영향을 분리하기 위해 통제된 아블레이션 연구를 실시하였다.
• 부정확한 검색 상황에서도 실패 모드와 내성적 안정성을 평가하기 위해 가변적인 재현율 임계값을 적용하였다.
• 정량적 성능 지표를 사용해 최적의 검색 범위 및 통합 효과성에 대한 작업별 패턴을 분석하였다.

실험 결과

연구 질문

• RQ1 RAG를 언제 배포해야 하는가? 그리고 개별 샘플 기준으로 성공 또는 실패를 결정짓는 요소는 무엇인가?
• RQ2 다양한 작업에 대해 최적의 검색 문서 수는 얼마이며, 질문 응답과 코드 생성 간에 이 수치가 달라지는가?
• RQ3 프롬프팅 전략의 선택이 RAG 시스템에서 지식 통합 효과성에 어떤 영향을 미치는가?
• RQ4 검색 정확도와 프롬프팅 품질이 RAG 파이프라인의 최종 출력 품질에 공동으로 영향을 미치는 정도는 어느 정도인가?
• RQ5 다양한 작업에 걸쳐 통용 가능한 RAG 구성이 존재하는가, 아니면 맥락 인식 기반 설계가 필수적인가?

주요 결과

• RAG 배포는 매우 선택적으로 이루어져야 하며, 완벽한 검색 문서가 제공된 경우에도 최대 12.6%의 샘플에서 작업 특화 실패 모드로 인해 실패할 수 있다.
• 질문 응답 작업의 경우, 5~10개의 문서를 검색하는 것이 다양한 모델과 데이터셋에서 일관되게 최적의 성능를 보이며 다른 설정보다 뛰어나다.
• 코드 생성 작업은 검색 문서 수의 최적 범위를 시나리오별로 최적화가 필요하며, 통용 가능한 최적 범위가 관찰되지 않았다.
• 프롬프팅 기법은 코드 생성 작업에서 지식 통합 효과를 뚜렷이 향상시키지만, 질문 응답 작업에서는 미미한 영향을 미친다.
• 지식 통합 효과성은 작업 특성과 모델 능력에 크게 의존하므로, 일반적인 RAG 전략의 타당성을 떨어뜨린다.
• 본 연구는 효과적인 RAG 시스템은 일괄적인 구성이 아닌 맥락 인식 기반 설계 결정이 필요하다는 점을 입증한다.