[논문 리뷰] Fine-Tuning LLaMA for Multi-Stage Text Retrieval

Xueguang Ma, Liang Wang외 3명|arXiv (Cornell University)|2023. 10. 12.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 LLaMA-2 대규모 언어 모델을 다단계 텍스트 검색을 위한 밀도형 검색기(RepLLaMA)와 점수 기반 재정렬기(RankLLaMA)로 미세조정하는 방법을 제안하며, MS MARCO 및 BEIR 벤치마크에서 최신 기술 수준 성능을 달성한다. 이 방법은 LLM의 장기적 컨텍스트 능력을 활용해 전체 문서를 종합적으로 표현함으로써 기존의 분할 및 풀링 전략을 제거하며, 오픈소스 모델 체크포인트를 통해 강력한 제로샷 효과성을 입증한다.

ABSTRACT

The effectiveness of multi-stage text retrieval has been solidly demonstrated since before the era of pre-trained language models. However, most existing studies utilize models that predate recent advances in large language models (LLMs). This study seeks to explore potential improvements that state-of-the-art LLMs can bring. We conduct a comprehensive study, fine-tuning the latest LLaMA model both as a dense retriever (RepLLaMA) and as a pointwise reranker (RankLLaMA) for both passage retrieval and document retrieval using the MS MARCO datasets. Our findings demonstrate that the effectiveness of large language models indeed surpasses that of smaller models. Additionally, since LLMs can inherently handle longer contexts, they can represent entire documents holistically, obviating the need for traditional segmenting and pooling strategies. Furthermore, evaluations on BEIR demonstrate that our RepLLaMA-RankLLaMA pipeline exhibits strong zero-shot effectiveness. Model checkpoints from this study are available on HuggingFace.

연구 동기 및 목표

• LLaMA-2와 같은 최신 기술 수준의 대규모 언어 모델(LLM)이 다단계 텍스트 검색에서 더 작은 사전학습 모델보다 뛰어난 성능을 낼 수 있는지 조사하는 것.
• 프롬프트 기반 LLM 재정렬의 한계(예: 비병렬 추론 및 레이블 데이터 활용 부족)를 해결하기 위해 LLM을 종단 간 추론기 및 재정렬기로 미세조정하는 것.
• LLaMA의 장기적 컨텍스트 능력 덕분에 전체 문서를 종합적으로 표현할 잠재력이 있음을 탐색하는 것. 이는 문서 분할 및 풀링 전략의 필요성을 제거한다.
• LLaMA-2를 백본으로 사용하여 다단계 검색을 위한 완전히 오픈소스이자 최적화된 파이프라인을 구축하여, 더 높은 성능과 추론 효율성을 달성하는 것.
• 제안된 RepLLaMA–RankLLaMA 파이프라인의 제로샷 일반화 능력을 다양한 검색 벤치마크에서 평가하는 것.

제안 방법

• 대조 손실(contrastive loss)을 사용하여 LLaMA-2를 이중 인코더 밀도형 검색기(RepLLaMA)로 미세조정하여 고밀도 벡터 공간에서 쿼리-문서 유사도를 학습하는 것.
• 레이블된 관련성 평가를 사용하여 LLaMA-2를 점수 기반 재정렬기(RankLLaMA)로 미세조정하여 쿼리-문서 쌍에 대한 관련성 점수를 직접 예측하는 것.
• 표준 평가 지표를 사용하여 파assed 및 문서 검색 작업 모두에서 도메인 내 미세조정을 위해 MS MARCO 데이터셋을 사용하는 것.
• LLaMA-2의 장기적 컨텍스트 어텐션을 활용하여 문서 분할 없이 전체 문서를 인코딩함으로써 종합적인 문서 표현을 가능하게 하는 것.
• 각각 대조 손실과 점수 기반 순서 손실을 사용하여 표준 지도 미세조정 방식으로 두 모델을 훈련하는 것.
• 재현 가능성을 위해 HuggingFace에 모델 체크포인트를 공개하는 것.

Figure 1: Cumulative distribution function of document lengths in the MS MARCO document corpus, showing the proportion of documents that has a length less than a specific value (determined by the LLaMA tokenizer). For clarity, we exclude 3% of documents with a length exceeding 10,000 tokens.

실험 결과

연구 질문

• RQ1 미세조정된 LLaMA-2 모델은 다단계 텍스트 검색에서 더 작은 사전학습 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 레이블 데이터로 미세조정된 LLaMA-2는 효과적인 밀도형 검색기 및 점수 기반 재정렬기로 기능할 수 있는가?
• RQ3 LLaMA-2의 장기적 컨텍스트 능력 덕분에 문서 검색에서 문서 분할 및 풀링 전략의 필요성이 사라지는가?
• RQ4 RepLLaMA–RankLLaMA 파이프라인은 다양한 BEIR 벤치마크에서 제로샷 검색에 얼마나 효과적인가?
• RQ5 LLM의 종단 간 미세조정은 프롬프트 기반 생성 방식에 비해 검색 성능을 향상시킬 수 있는가?

주요 결과

• RepLLaMA와 RankLLaMA는 MS MARCO 데이터셋을 사용하여 파assing 및 문서 검색 작업 모두에서 이전의 더 작은 모델들을 능가하는 최신 기술 수준의 성능을 달성한다.
• RepLLaMA–RankLLaMA 파이프라인은 BEIR 벤치마크에서 강력한 제로샷 효과성을 보이며, 다양한 도메인에 걸쳐 우수한 일반화 능력을 보여준다.
• LLaMA-2의 장기적 컨텍스트 어텐션은 종합적인 문서 인코딩을 가능하게 하여 기존의 문서 분할 및 풀링 전략의 필요성을 제거한다.
• LLaMA-2를 검색기 및 재정렬기로 미세조정하면 비효율적인 다단계 디코딩을 피할 수 있는 병렬 스코어링이 가능해지며, 프롬프트 기반 LLM 재정렬의 비병렬성 문제를 해결한다.
• 레이블 데이터(예: MS MARCO에서의 데이터)를 효과적으로 활용함으로써, 이러한 애너테이션을 무시하는 제로샷 프롬프팅 방법보다 더 높은 성능을 달성한다.
• HuggingFace에 공개된 모델 체크포인트 덕분에 재현 가능성이 보장되며, LLM 기반 검색 시스템에 대한 향후 연구가 가능해진다.

Figure 2: Comparison of document ranking MRR@100 scores for RankLLaMA trained with different maximum input lengths and evaluated using different maximum input lengths. Each line represents a model trained with a specific maximum length, while points along the line indicate the effectiveness when var