[논문 리뷰] RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

Yue Yu, Wei Ping외 6명|arXiv (Cornell University)|2024. 07. 02.

Natural Language Processing Techniques인용 수 5

한 줄 요약

RankRAG는 단일 LLM을 미세 조정하여 RAG 프레임워크에서 맥락 순위 매기기와 답변 생성을 동시에 수행하도록 하여, 관련 맥락의 회수(recall)와 생성 품질을 여러 벤치마크에서 개선하며, 도메인 특화 미세 조정 없이도 생물의학 분야를 포함합니다.

ABSTRACT

Large language models (LLMs) typically utilize the top-k contexts from a retriever in retrieval-augmented generation (RAG). In this work, we propose a novel instruction fine-tuning framework RankRAG, which instruction-tunes a single LLM for the dual purpose of context ranking and answer generation in RAG. In particular, the instruction-tuned LLMs work surprisingly well by adding a small fraction of ranking data into the training blend, and outperform existing expert ranking models, including the same LLM exclusively fine-tuned on a large amount of ranking data. For generation, we compare our model with many strong baselines, including GPT-4-0613, GPT-4-turbo-2024-0409, and ChatQA-1.5, an open-sourced model with the state-of-the-art performance on RAG benchmarks. Specifically, our Llama3-RankRAG significantly outperforms Llama3-ChatQA-1.5 and GPT-4 models on nine knowledge-intensive benchmarks. In addition, it also performs comparably to GPT-4 on five RAG benchmarks in the biomedical domain without instruction fine-tuning on biomedical data, demonstrating its superb capability for generalization to new domains.

연구 동기 및 목표

• 동기: 표준 RAG 파이프라인의 한계로 인해 큰 맥락 집합이 생성 품질을 악화시키고 순위 일반화가 제한되는 문제를 해결하고자 함.
• 목표: RAG에서 높은 회상도(context recall) 맥락 순위 매기기와 높은 품질의 답변 생성을 모두 가능한 단일 LLM로 구성하는 지시-미세조정 파이프라인 설계.
• 접근 방식: 맥락이 풍부한 QA 데이터, 검색 증강 QA 데이터, 순위 데이터를 RAG를 위한 단일 지시-미세조정 프레임워크로 통합.
• 실험: 소량의 순위 데이터가 순위 성능을 놀랍게도 향상시키고 도메인 간 일반화에 기여하는지 입증

제안 방법

• Stage-I: 대규모 지시 이행 데이터 혼합(128K 예시)으로 지시 준수를 가능하게 하는 지도학습 미세조정(SFT).
• Stage-II: 다섯 개 데이터 흐름을 하나로 합친 통합 지시-미세조정: 맥락이 풍부한 QA, 검색 증강 QA, 맥락 순위 매기기, 검색 증강 순위 매기기, Stage-I SFT 데이터.
• 모든 작업을 (x, c, y) QA 형식으로 통일하여 작업 간 전이 및 상호 강화 가능하도록 구성.
• 추론은 검색-재랭크-생성 파이프라인을 사용: 상위 N 검색 후 RankRAG로 상위 k를 순위 매긴 다음 상위 k 맥락에서 답변 생성.
• 9개의 일반 도메인 벤치마크 및 5개의 생물의학 벤치마크에서 GPT-4 계열 모델 및 공개 벤치마크를 포함한 강력한 기준선과의 비교 평가

실험 결과

연구 질문

• RQ1 단일 LLM을 RAG 설정에서 맥락을 효과적으로 순위 매기고 정확한 답변을 생성하도록 학습시킬 수 있는가?
• RQ2 순위 데이터를 지시-미세조정에 통합하면 도메인 일반화(일반 및 생물의학 모두) 및 검색 품질 향상에 도움이 되며 도메인 특화 미세 조정이 필요 없는가?
• RQ3 RankRAG가 무작위 설정에서 오픈 도메인 QA, 사실 검증, 대화형 QA 등 다양한 지식 집약적 작업에서 강력한 벤치마크 대비 어떻게 성능을 발휘하는가?
• RQ4 RankRAG가 서로 다른 검색기(예: DPR, Contriever-MS MARCO) 및 검색 맥락 수의 변화에 대해 강건한가?
• RQ5 재정렬(re-ranking) 단계가 효율성과 정확도에 미치는 영향은 무엇인가?

주요 결과

• RankRAG는 8B 규모에서 기존 RAG 방법을 지속적으로 능가하고 ChatQA-1.5를 포함한 더 큰 기준선과도 다수 데이터 세트에서 경쟁력이 있음.
• RankRAG는 더 도전적인 QA 데이터 세트(예: 장기 태생적 문제와 다중 홉 태스크)에서 더 큰 이점을 보이며, 순위 매기를 통해 회상 및 관련성 향상을 효과적으로 활용함을 시사.
• 도메인 특화 생물의학 벤치마크에서 RankRAG(8B)가 Meditron 70B를 능가하고 RankRAG 70B가 여러 지표에서 거의 GPT-4 수준의 성능에 도달하는 등 제로샷 도메인 간 일반화가 강하게 나타남.
• 특정 Ablation 연구에서 맥락 순위 매기기, 검색 증강 QA 데이터, 검색 증강 순위 매기기 데이터 각각이 성능 향상에 기여하며, 재정렬이 추가 이득을 제공함을 확인.
• RankRAG는 서로 다른 검색기(DPR, Contriever-MS MARCO)에도 대해 강건하며 초기 검색 품질이 달라져도 ChatQA-1.5에 비해 여전히 우위를 유지함.