[논문 리뷰] DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering

Zijian Hei, Weiling Liu외 6명|arXiv (Cornell University)|2024. 06. 11.

Topic Modeling인용 수 4

한 줄 요약

DR-RAG는 다단계 질문-답변 작업에서 정답 정확도를 향상시키기 위해 동적으로 정적(고정된) 및 낮은 관련도이지만 핵심적인(동적) 문서를 식별하는 이단계 검색-보정 생성 프레임워크를 제안한다. 질의-문서 관련도 기반으로 필터링 및 문서 선택을 수행하는 컴act한 분류기를 사용함으로써, DR-RAG는 검색 재현율과 정답 정밀도를 향상시키며, LLM을 한 번만 호출함으로써 최신 기술 수준의 성능을 달성한다. 이는 다단계 QA 벤치마크에서 최고의 성능을 기록한다.

ABSTRACT

Retrieval-Augmented Generation (RAG) has recently demonstrated the performance of Large Language Models (LLMs) in the knowledge-intensive tasks such as Question-Answering (QA). RAG expands the query context by incorporating external knowledge bases to enhance the response accuracy. However, it would be inefficient to access LLMs multiple times for each query and unreliable to retrieve all the relevant documents by a single query. We have found that even though there is low relevance between some critical documents and query, it is possible to retrieve the remaining documents by combining parts of the documents with the query. To mine the relevance, a two-stage retrieval framework called Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG) is proposed to improve document retrieval recall and the accuracy of answers while maintaining efficiency. Additionally, a compact classifier is applied to two different selection strategies to determine the contribution of the retrieved documents to answering the query and retrieve the relatively relevant documents. Meanwhile, DR-RAG call the LLMs only once, which significantly improves the efficiency of the experiment. The experimental results on multi-hop QA datasets show that DR-RAG can significantly improve the accuracy of the answers and achieve new progress in QA systems.

연구 동기 및 목표

• 기존 RAG 시스템이 다단계 질문-답변 작업에서 관련도가 낮지만 핵심적인 문서를 검색하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 정적 관련 문서와 동적 관련 문서를 구분함으로써 검색 재현율과 정답 정확도를 향상시키기 위해.
• 중복되거나 관련도가 낮은 문서 검색을 최소화함으로써 비효율성과 환각 현상을 줄이기 위해.
• 이중 단계 검색 및 분류기 기반 선택 전략을 통해 질의당 LLM을 한 번만 호출함으로써 높은 효율성을 유지하기 위해.

제안 방법

• 이중 단계 검색 프레임워크: 첫 번째 단계에서는 질의 임bedding 기반 유사도 매칭을 통해 초기 문서 집합을 검색한다.
• 두 번째 단계에서는 질의-문서 병합을 통해 더 깊은 관련도를 파악하며, 특히 동적 관련 문서에 대해 유의미한 정보를 드러낸다.
• 정해진 임계값을 사용하여 문서 관련도를 평가하는 컴act한 분류기를 통해 문서 기여도를 결정한다.
• 전방 및 역방향 선택 전략을 적용하여 검색된 문서 집합을 최적화하고 중복을 줄인다.
• 최종 문서 집합은 LLM에 단 한 번만 입력되어 고성능 추론 효율성을 확보한다.
• 이 프레임워크는 RAG에 동적 관련도 탐색 기능을 통합하여 복잡한 다단계 QA 작업에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 단계 검색 접근 방식은 다단계 QA에서 관련도가 낮지만 핵심적인 문서의 재현율을 향상시킬 수 있는가?
• RQ2 질의와 문서 간의 동적 관련도는 어떻게 효과적으로 측정하고 RAG에서 활용할 수 있는가?
• RQ3 경량 분류기를 사용해 문서 선택을 향상시킬 수 있는가? 이는 추론 비용 증가 없이 가능할까?
• RQ4 중복된 문서 검색을 줄이면 LLM 기반 QA 시스템에서 정답 정확도가 향상되는가?
• RQ5 지능적인 문서 검색 및 필터링과 결합된 단일 LLM 호출이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DR-RAG는 표준 RAG가 놓치는 경우가 많은 동적 관련 문서를 효과적으로 검색함으로써 다단계 QA 데이터셋에서 정답 정확도를 크게 향상시킨다.
• 특히 복잡한 다단계 질문에서 기존 RAG 및 질의 의존적 검색(QDC) 방법보다 높은 검색 재현율을 기록한다.
• 전방 및 역방향 선택 전략을 적용한 컴act한 분류기의 사용으로 관련도가 낮은 문서의 포함을 줄여 정답 품질을 향상시켰다.
• LLM을 한 번만 호출함으로써 DR-RAG는 높은 추론 효율성을 유지하면서도 다중 호출 기반 RAG 베이스라인을 초월한다.
• HotpotQA에 대한 사례 연구에서 DR-RAG는 다른 방법들이 직접 관련도가 낮아서 식별하지 못하는 필수 문서(예: Caroline LeRoy의 배우자)를 성공적으로 검색했다.
• DR-RAG는 다단계 QA 벤치마크에서 최신 기술 수준의 성능을 보이며, LLM 기반 질문-답변 시스템 분야에서 새로운 진전을 보였다.