[논문 리뷰] Optimizing Query Generation for Enhanced Document Retrieval in RAG

Hae‐Won Koo, Minseon Kim외 1명|arXiv (Cornell University)|2024. 07. 17.

Data Management and Algorithms인용 수 4

한 줄 요약

이 논문은 LLM을 사용하여 질의를 개선하고, 상위-k 평균 질의-문서 일치 스코어를 활용하여 Retrieval-Augmented Generation (RAG)에서 문서 검색을 향상시키는 질의 최적화 프레임워크인 QOQA를 제안한다. 검색된 문서와 일치 스코어를 바탕으로 질의를 반복적으로 재구성함으로써 QOQA는 검색 정밀도를 향상시키며, 다양한 데이터셋에서 평균 1.6%의 정확도 향상을 달성하여 LLM 생성 응답의 환각 현상을 감소시킨다.

ABSTRACT

Large Language Models (LLMs) excel in various language tasks but they often generate incorrect information, a phenomenon known as "hallucinations". Retrieval-Augmented Generation (RAG) aims to mitigate this by using document retrieval for accurate responses. However, RAG still faces hallucinations due to vague queries. This study aims to improve RAG by optimizing query generation with a query-document alignment score, refining queries using LLMs for better precision and efficiency of document retrieval. Experiments have shown that our approach improves document retrieval, resulting in an average accuracy gain of 1.6%.

연구 동기 및 목표

• 모호하거나 애매한 질의로 인해 발생하는 RAG 시스템 내 환각 현상을 해결하기 위해.
• 질의 생성을 개선하여 문서 검색의 정밀도와 효율성을 높이기 위해.
• 반복적인 질의 최적화를 통해 모호한 원본 질의에 대한 의존도를 줄이기 위해.
• 질의 개선을 위한 질의-문서 일치 스코어를 활용하여 검색 성능을 향상시키기 위해.
• 질의 최적화가 다양한 검색 벤치마크에서 검색 정확도를 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 해당 방법은 원본 질의에 대해 상위-N 개의 문서를 검색하는 리트리버를 사용한다.
• 원본 질의와 상위-N 개의 문서를 결합하여 LLM에 입력하여 R₀ 재구성된 질의를 생성한다.
• 각 재구성된 질의는 검색 모델을 사용하여 검색된 문서와의 일치도를 평가하고, 평균 일치 스코어 기반으로 상위-K 개의 질의를 선택한다.
• 반복 최적화를 위해 원본 질의, 검색된 문서, 상위-K 개의 재구성된 질의를 포함하는 프롬프트 템플릿을 동적으로 업데이트한다.
• 최대 50회의 반복을 통해 각 단계에서 최신 일치 스코어를 기반으로 질의를 개선한다.
• 이 방법은 아울러 스퍼스(비어있음, BM25) 및 디ensa(밀도, BGE-base-en-v1.5) 검색 모델을 통합하며, 구성 요소 기여도를 검증하기 위한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 LLM과 일치 스코어를 활용한 반복적 질의 최적화가 RAG 시스템의 검색 정밀도를 향상시킬 수 있는가?
• RQ2 검색된 문서를 활용한 질의 확장은 직접적인 질의 재구성보다 검색 성능에 어떤 영향을 미치는가?
• RQ3 검색 품질 향상으로 인해 질의 최적화가 LLM 생성 응답의 환각 현상을 어느 정도 감소시키는가?
• RQ4 QOQA 프레임워크에서 확장 및 최적화 구성 요소의 상대 기여도는 어떠한가?
• RQ5 제안된 방법은 다양한 검색 모델과 벤치마크 데이터셋에 대해 일반화 가능한가?

주요 결과

• QOQA는 여러 검색 벤치마크에서 평균 1.6%의 정확도 향상을 달성하여 일관된 성능 향상을 입증하였다.
• SciFact 데이터셋에서 QOQA(BM25 스코어)는 nDCG@10이 75.4를 기록하여 기준 모델을 초월하였다.
• 분석 연구에서 확장 구성 요소를 제거할 경우 성능 저하가 심하게 발생했으며, 특히 BM25 스코어 기반에서 두드러졌다.
• 최적화 단계 자체만으로도 검색 성능 향상이 이루어졌으며, 이는 반복적 개선이 질의 품질을 향상시킨다는 것을 시사한다.
• 사례 연구를 통해 QOQA가 생성한 질의는 더 정밀한 키워드(예: 'nano', '분자 증거')를 포함하여 관련 문서와의 일치도가 높아졌다.
• 이 방법은 스퍼스 및 디ensa 검색 설정 모두에서 뛰어난 성능을 보이며, 그 강건성을 입증하였다.