[논문 리뷰] Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability

B Gautam, Anupam Purwar|arXiv (Cornell University)|2024. 06. 17.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 연구는 기업 전용 RAG 시스템에서 기업 웹사이트에서 크롤링한 전용 데이터를 사용해 오픈소스 LLM(Llama3 및 Mistral)의 성능을 평가한다. 오픈소스 모델은 지식 기반 정답과의 코사인 유사도(CSGA)를 기준으로 GPT-4와 유사한 성능을 보이며, 이는 안정적인 평가 지표로 기능한다. 또한 컨텍스트 길이(TOP-K)가 답변 품질에 미치는 영향은 미미하여, Llama3-8B와 같이 작은 모델이 도메인 특화 QA 작업에서 더 뛰어난 성능을 낼 수 있음을 시사한다.

ABSTRACT

This paper presents an analysis of open-source large language models (LLMs) and their application in Retrieval-Augmented Generation (RAG) tasks, specific for enterprise-specific data sets scraped from their websites. With the increasing reliance on LLMs in natural language processing, it is crucial to evaluate their performance, accessibility, and integration within specific organizational contexts. This study examines various open-source LLMs, explores their integration into RAG frameworks using enterprise-specific data, and assesses the performance of different open-source embeddings in enhancing the retrieval and generation process. Our findings indicate that open-source LLMs, combined with effective embedding techniques, can significantly improve the accuracy and efficiency of RAG systems, offering a viable alternative to proprietary solutions for enterprises.

연구 동기 및 목표

• 기업 전용 RAG 시스템에서 전용 데이터를 사용해 오픈소스 LLM의 성능과 확장성을 평가하는 것.
• 정확도와 효율성 측면에서 GPT-4와 같은 전용 모델과 오픈소스 LLM 및 임bedding 모델을 비교하는 것.
• 기업 환경에서 RAG 답변 품질을 평가하기 위한 가장 효과적인 평가 지표를 규명하는 것.
• 기업 데이터를 사용한 RAG 시스템에서 최적의 하이퍼파라미터(예: TOP-K)를 결정하는 것.
• 고성능 GPU 인프라 없이도 오픈소스 LLM이 비용 효율적이고 확장 가능하며 정확한 RAG 솔루션을 제공할 수 있음을 입증하는 것.

제안 방법

• 기업 웹사이트에서 기업 전용 데이터를 수집하여 오픈소스 임베딩을 사용해 도메인 특화 벡터 데이터베이스를 구축했다.
• 밀도 있는 벡터 검색을 통한 검색과 생성형 LLM(Llama3-8B 및 Mistral-8x7B)을 통합한 RAG 프레임워크를 구현했다.
• 다양한 지표를 사용해 답변 품질을 평가했다: 지식 기반 정답과의 코사인 유사도(CSGA), 유니그램 정밀도/재현율, Deepeval의 문맥 기반 재현율/정밀도.
• 검색 컨텍스트 길이에 미치는 영향을 평가하기 위해 TOP-K 파rameter를 체계적으로 변화시켰다.
• 희박한 사실 질문, 희박한 추론 질문, 풍부한 사실 질문, 풍부한 추론 질문의 네 가지 유형으로 질문을 분류하여 다양한 질문 유형에서의 모델 행동을 평가했다.
• 퍼플렉서티 API를 사용해 추론 지연 시간과 계산 비용을 측정하여 오픈소스 모델과 GPT-3.5 간의 성능을 비교했다.

실험 결과

연구 질문

• RQ1 기업 전용 RAG 작업에서 오픈소스 LLM은 GPT-4와 같은 전용 모델에 비해 정확도와 효율성 측면에서 어떻게 비교될 수 있는가?
• RQ2 RAG 답변 품질을 측정하는 데 가장 신뢰할 수 있는 평가 지표는 무엇인가? (예: CSGA, 유니그램 정밀도/재현율, Deepeval)
• RQ3 기업 데이터를 사용한 오픈소스 LLM을 활용한 RAG 시스템에서 검색의 최적 TOP-K 값은 무엇인가?
• RQ4 더 높은 TOP-K로 인한 컨텍스트 길이 증가가 다양한 LLM과 질문 유형에서 답변 품질을 유의미하게 향상시키는가?
• RQ5 고가의 GPU 인프라 없이도 오픈소스 LLM이 상용 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• Llama3-8B와 같은 오픈소스 LLM은 지식 기반 정답과의 코사인 유사도(CSGA)로 측정했을 때 GPT-4와 유사한 답변 품질을 보이며, 다양한 TOP-K 값에서도 안정성을 유지한다.
• CSGA는 다양한 질문과 TOP-K 설정 간에 최소한의 변동성(일般적으로 약 0.5, 최대 1)을 보이며, 이는 RAG 평가에 있어 신뢰할 수 있고 일관된 지표임을 시사한다.
• 유니그램 정밀도와 재현율은 상당한 변동성(평균 변화 약 1, 최대 2까지)을 보이며, CSGA에 비해 답변 품질 평가에 덜 신뢰할 수 있음을 시사한다.
• TOP-K를 증가시켜도 답변 품질 향상이 유의미하게 발생하지 않아, CSGA 점수는 대부분 변화하지 않았으며, 이는 이 설정에서 큰 컨텍스트 창이 필요하지 않음을 의미한다.
• Llama3-8B는 파rameter 수가 적음에도 불구하고 추론 기반의 희박한 질문과 풍부한 질문에서 Mistral-8x7B를 능가했으며, 이는 도메인 특화 RAG 작업에서 모델 아키텍처와 효율성이 크기보다 더 중요함을 시사한다.
• Llama3 및 Mistral은 퍼플렉서티 API를 사용해 GPT-3.5 대비 약 50%의 낮은 추론 시간을 기록했으며, 이는 고성능 GPU 비용 없이도 기업 환경에 적합한 확장성과 효율성을 보여준다.