[논문 리뷰] RAG Does Not Work for Enterprises

Tilmann Bruckhaus|arXiv (Cornell University)|2024. 05. 31.

Information Retrieval and Search Behavior인용 수 7

한 줄 요약

본 논문은 Retrieval-Augmented Generation이 기업 특유의 도전에 직면해 있다고 주장하고, 보안성과 확장 가능 배포를 개선하기 위한 평가 프레임워크와 방향을 제시한다.

ABSTRACT

Retrieval-Augmented Generation (RAG) improves the accuracy and relevance of large language model outputs by incorporating knowledge retrieval. However, implementing RAG in enterprises poses challenges around data security, accuracy, scalability, and integration. This paper explores the unique requirements for enterprise RAG, surveys current approaches and limitations, and discusses potential advances in semantic search, hybrid queries, and optimized retrieval. It proposes an evaluation framework to validate enterprise RAG solutions, including quantitative testing, qualitative analysis, ablation studies, and industry case studies. This framework aims to help demonstrate the ability of purpose-built RAG architectures to deliver accuracy and relevance improvements with enterprise-grade security, compliance and integration. The paper concludes with implications for enterprise deployments, limitations, and future research directions. Close collaboration between researchers and industry partners may accelerate progress in developing and deploying retrieval-augmented generation technology.

연구 동기 및 목표

• 기업 RAG 배포를 위한 고유한 요구사항 식별.
• 기업 맥락에서의 현재 RAG 접근 방식과 그 한계 조사.
• 기업을 위한 시맨틱 검색, 하이브리드 질의, 최적화된 검색/회수의 잠재적 진전 논의.
• 보안 및 통합을 고려한 기업 RAG 솔루션을 검증하기 위한 평가 프레임워크 제안.

제안 방법

• 현재의 기업 RAG 접근 방식 및 그 한계 조사.
• 시맨틱 검색, 하이브리드 질의, 최적화된 검색 회수의 잠재적 진전 논의.
• 기업 중심의 평가 프레임워크 제안.
• 기업 등급의 보안, 규정 준수 및 통합 고려사항 강조.
• 연구자와 산업 파트너 간의 협력을 제안하여 진전을 가속화.

실험 결과

연구 질문

• RQ1 기업 환경에서 RAG의 고유한 요구사항과 제약은 무엇인가?
• RQ2 현재의 기업 RAG 접근 방식과 구현의 한계는 무엇인가?
• RQ3 시맨틱 검색, 하이브리드 질의 및 검색 최적화의 어떤 진전이 기업 RAG에 이익이 될 수 있는가?
• RQ4 정확성, 관련성, 보안 및 통합 측면에서 기업 RAG 솔루션을 어떻게 효과적으로 평가할 수 있는가?

주요 결과

• 데이터 보안, 정확성, 확장성 및 통합을 기업 RAG의 핵심 도전 과제로 식별한다.
• 기업 RAG 솔루션을 검증하기 위한 평가 프레임워크 제안.
• 배포 고려사항에서 기업 등급의 보안, 규정 준수 및 통합의 필요성을 강조한다.
• 기업용 RAG 배포의 진전을 가속화하기 위해 연구자와 산업 파트너 간의 긴밀한 협력을 시사한다.