[논문 리뷰] Zero-Shot Listwise Document Reranking with a Large Language Model

Xueguang Ma, Xinyu Zhang외 2명|arXiv (Cornell University)|2023. 05. 03.

Text and Document Classification Technologies인용 수 20

한 줄 요약

본 논문은 GPT-3를 사용한 제로샷 리스트와 재랭커 LRL을 제안하여 쿼리에 대한 후보 문서 목록을 재정렬하고, 작업 특화 학습 없이 TREC DL 데이터셋과 다국어 MIRACL 데이터에서 제로샷 포인트와이즈 재랭커 대비 향상을 보여줍니다.

ABSTRACT

Supervised ranking methods based on bi-encoder or cross-encoder architectures have shown success in multi-stage text ranking tasks, but they require large amounts of relevance judgments as training data. In this work, we propose Listwise Reranker with a Large Language Model (LRL), which achieves strong reranking effectiveness without using any task-specific training data. Different from the existing pointwise ranking methods, where documents are scored independently and ranked according to the scores, LRL directly generates a reordered list of document identifiers given the candidate documents. Experiments on three TREC web search datasets demonstrate that LRL not only outperforms zero-shot pointwise methods when reranking first-stage retrieval results, but can also act as a final-stage reranker to improve the top-ranked results of a pointwise method for improved efficiency. Additionally, we apply our approach to subsets of MIRACL, a recent multilingual retrieval dataset, with results showing its potential to generalize across different languages.

연구 동기 및 목표

• 레이블이 있는 데이터 없이 다단계 검색 파이프라인을 위한 제로샷 재랭킹의 필요성 동기화.
• 대 후보 문서를 재정렬하기 위해 대형 언어 모델을 활용하는 리스트와이즈 재랭커를 제안.
• 다양한 데이터셋(TREC DL, MIRACL)에서 리스트와이즈 대 포인트와이즈 제로샷 재랭킹 비교.
• GPT-3를 활용한 다국어 제로샷 재랭킹의 가능성 시연.
• 입력 길이 제한을 다루기 위한 프롬프트 설계 및 점진적 재랭킹과 같은 실용적 고려사항 탐구.

제안 방법

• LLM이 주어진 쿼리에 대해 문서 식별자들의 정렬된 목록을 출력한다는 리스트와이즈 재랭킹을 설명합니다.
• 관련성에 따라 정렬된 문단 목록을 이끌어내는 프롬프트와 공정한 비교를 위한 기본점 포인트와이즈 프롬프트(PRL)를 설계합니다.
• 모델 입력 한계를 넘는 긴 후보 목록을 처리하기 위한 슬라이딩 윈도우 점진적 재랭킹 전략을 사용합니다.
• DL19/DL20/DL21에서 BM25, Contriever, UPR, PRL과 MIRACL 다국어 데이터셋에 대해 제로샷 LRL을 평가합니다.
• 기대치를 수치화하기 위한 성능 지표(nDCG@10, MRR@10)를 보고하여 베이스라인 대비 이득을 정량화합니다.

실험 결과

연구 질문

• RQ1 제로샷 리스트와이즈 재랭커가 표준 및 다국어 검색 벤치마크에서 제로샷 포인트와이즈 재랭커를 능가할 수 있는가?
• RQ2 다수의 문서를 공동으로 고려하는 것이 제로샷 설정에서 독립적인 문서 점수화보다 더 나은 재랭킹 신호를 제공하는가?
• RQ3 최종 단계 재랭커로서 LRL이 상위 결과를 향상시키면서 효율성을 유지할 수 있는가?
• RQ4 MIRACL과 같은 다국어 데이터셋에서 접근 방식이 언어 간 일반화가 가능한가?

주요 결과

• LRL은 세 개의 TREC DL 데이터셋에서 제로샷 포인트와이즈 재랭커(UFR, PRL 등)보다 평균적으로 약 6 및 3 nDCG@10 포인트 차이로 우수한 성능을 보입니다.
• LRL은 MIRACL 다국어 데이터에서 BM25에 비해 상당한 이득을 달성하며, 일부 언어에서 주목할 만한 nDCG@10 개선을 보입니다.
• 상위 목록의 신호를 강화하는 추가 재랭킹 단계(top-10/20)로 사용할 때 포인트와이즈 방식보다 추가 향상을 얻어 재랭킹의 강한 상위 목록 신호를 시사합니다.
• LRL의 제로샷 성능은 특정 설정에서 감독적 밀집 검색기(dense retriever)와 비슷하거나 더 나은 경우가 있어 LLM 기반 제로샷 재랭킹의 잠재력을 강조합니다.
• 비영어권 언어(중국어, 스와힐리어, 요루바어)에서의 실험은 언어 간 일반화 가능성을 보여줍니다.