[논문 리뷰] DomainRAG: A Chinese Benchmark for Evaluating Domain-specific Retrieval-Augmented Generation

Shuting Wang, Jiongnan Liu Shiren Song외 7명|arXiv (Cornell University)|2024. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 대학 입학과 같은 영역 특화 시나리오에서 검색 증강 생성(RAG) 모델을 평가하기 위한 중국어 벤치마크인 DomainRAG를 소개한다. 이는 정제된 HTML 및 텍스트 코퍼스를 사용하여 대화 이해, 구조적 분석, 충실도, 노이즈 제거, 시간에 민감한 추론, 다중 문서 상호작용의 여섯 가지 핵심 능력에 대해 LLM을 평가하며, 심지어 최신 LLM이라도 신뢰할 수 있는 RAG 증강 없이 전문 영역 작업을 수행하는 데 어려움을 겪는다는 점을 드러낸다.

ABSTRACT

Retrieval-Augmented Generation (RAG) offers a promising solution to address various limitations of Large Language Models (LLMs), such as hallucination and difficulties in keeping up with real-time updates. This approach is particularly critical in expert and domain-specific applications where LLMs struggle to cover expert knowledge. Therefore, evaluating RAG models in such scenarios is crucial, yet current studies often rely on general knowledge sources like Wikipedia to assess the models' abilities in solving common-sense problems. In this paper, we evaluated LLMs by RAG settings in a domain-specific context, college enrollment. We identified six required abilities for RAG models, including the ability in conversational RAG, analyzing structural information, faithfulness to external knowledge, denoising, solving time-sensitive problems, and understanding multi-document interactions. Each ability has an associated dataset with shared corpora to evaluate the RAG models' performance. We evaluated popular LLMs such as Llama, Baichuan, ChatGLM, and GPT models. Experimental results indicate that existing closed-book LLMs struggle with domain-specific questions, highlighting the need for RAG models to solve expert problems. Moreover, there is room for RAG models to improve their abilities in comprehending conversational history, analyzing structural information, denoising, processing multi-document interactions, and faithfulness in expert knowledge. We expect future studies could solve these problems better.

연구 동기 및 목표

• 검색 증강 생성(RAG) 모델을 위한 전문적 시나리오에서의 도메인 특화 평가 벤치마크 부족 문제를 해결하기 위해.
• 전문 분야에서 효과적인 RAG를 위해 필수적인 여섯 가지 능력—대화 이해, 구조적 분석, 충실도, 노이즈 제거, 시간에 민감한 추론, 다중 문서 상호작용—을 식별하고 평가하기 위해.
• 외부 지식을 활용하여 실제 전문가 중심 응용—대학 입학—에서 최첨단 LLMs(Llama, Baichuan, ChatGLM, GPT 등)의 성능을 평가하기 위해.
• 폐쇄책 LLM의 한계를 드러내고, 신뢰할 수 있는 전문 지식 검색 및 생성을 위해 RAG가 필수적임을 강조하기 위해.
• 공유된 코퍼스와 데이터셋을 제공하여 도메인 특화 맥락에서 RAG 시스템의 표준화된 평가를 가능하게 하는 재현 가능한 구조적 벤치마크를 제공하기 위해.

제안 방법

• 중국의 고등 교육 기관의 공식 대학 입학 웹페이지를 크롤링하여 원시 텍스트 및 HTML로 구조화된 문서 유형의 두 가지 코퍼스를 구축하였다.
• 특정 RAG 능력을 타겟으로 한 여섯 개의 서브-데이터셋을 설계: 대화 기반 RAG, 구조적 정보 분석, 외부 지식에 대한 충실도, 노이즈 제거, 시간에 민감한 문제 해결, 다중 문서 상호작용.
• 동일한 외부 지식 기반을 사용하여 동일한 RAG 설정에서 여러 LLM(Llama, Baichuan, ChatGLM, GPT)의 성능을 평가하여 공정한 비교를 확보하였다.
• 제어된 노이즈 설정(다양한 노이즈 수)을 도입하여 불필요한 문서가 모델 성능과 신뢰도에 미치는 영향을 연구하였다.
• 폐쇄책 설정, 골든 레퍼런스, 노이즈가 섞인 레퍼런스를 비교하는 분석 실험을 수행하여 모델이 외부 지식에 얼마나 의존하는지 평가하였다.
• 충실도 평가를 위해 골든 레퍼런스와 반대 레퍼런스를 사용하여, 모델이 제공된 지식에 기반해 정확한 답변을 생성하는지, 아니면 자신의 사전 지식에 의존하는지 측정하였다.

실험 결과

연구 질문

• RQ1 기존 LLM은 폐쇄책 추론 대비 도메인 특화 RAG 설정에서 대학 입학 질문에 대해 얼마나 잘 수행하는가?
• RQ2 RAG 모델은 대화 이력을 얼마나 잘 이해하고 다중 턴 대화 상황에서 맥락을 유지하는가?
• RQ3 검색된 문서의 구조적 요소(예: HTML 형식)는 모델이 관련 정보를 추출하고 추론하는 능력에 어떤 영향을 미치는가?
• RQ4 노이즈가 섞이거나 중복된 외부 문서는 LLM이 생성한 답변의 신뢰도와 충실도에 어떤 영향을 미치는가?
• RQ5 지식이 급격히 변화하는 시간에 민감한 질문에 대해 RAG 모델은 현재 정보와 오래된 정보를 어떻게 구분하고 처리하는가?

주요 결과

• 폐쇄책 LLM은 도메인 특화 대학 입학 질문에 대해 뚜렷이 열등한 성능을 보이며, 외부 지식 검색의 필요성을 확인한다.
• RAG 모델은 대화 이력 이해 능력이 제한적이며, 다중 턴 대화 이해 능력 향상 여전히 개선이 필요함을 시사한다.
• 노이즈 제거 능력에 어려움을 겪으며, 검색 문서의 노이즈 수가 많아질수록 성능 저하가 빈번히 발생하지만, 일부 모델은 참조 문서 수 증가로 인해 유의미한 이점을 얻는다.
• 단일 참조 또는 참조 없음 설정 대비 다수의 참조(심지어 노이즈가 섞인 경우라도)가 모델의 신뢰도와 성능 향상에 기여한다.
• LLM은 외부 지식 없이도 종종 정확한 답변을 생성하므로, 자신의 정적이고 오래된 지식에 의존하고 있음을 시사하며, 이는 외부 자료에 대한 충실도 향상의 절실한 필요성을 강조한다.
• 전문 지식에 대한 충실도 문제는 여전히 도전 과제이다: 모델은 자주 잘못되거나 반대되는 레퍼런스를 거부하지 못해, 적절한 검증 없이 외부 데이터에 과도하게 의존할 위험이 있다.