[논문 리뷰] RankT5: Fine-Tuning T5 for Text Ranking with Ranking Losses

Honglei Zhuang, Zhen Qin외 7명|arXiv (Cornell University)|2022. 10. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 T5의 인코더-디코더 및 인코더-오직 아키텍처를 수정하여 직접 수치적 순위 점수를 출력하도록 토너먼트를 미세조정하는 RankT5 방법을 소개한다. 분류 손실 대신 쌍별 및 리스트와 같은 순위 손실을 사용하여 훈련함으로써, MS MARCO와 Natural Question에서 뚜렷한 성능 향상을 달성하였으며, 리스트와 같은 손실이 도메인 외 데이터에 대한 제로샷 일반화 능력을 향상시킨다.

ABSTRACT

Recently, substantial progress has been made in text ranking based on pretrained language models such as BERT. However, there are limited studies on how to leverage more powerful sequence-to-sequence models such as T5. Existing attempts usually formulate text ranking as classification and rely on postprocessing to obtain a ranked list. In this paper, we propose RankT5 and study two T5-based ranking model structures, an encoder-decoder and an encoder-only one, so that they not only can directly output ranking scores for each query-document pair, but also can be fine-tuned with "pairwise" or "listwise" ranking losses to optimize ranking performances. Our experiments show that the proposed models with ranking losses can achieve substantial ranking performance gains on different public text ranking data sets. Moreover, when fine-tuned with listwise ranking losses, the ranking model appears to have better zero-shot ranking performance on out-of-domain data sets compared to the model fine-tuned with classification losses.

연구 동기 및 목표

• 기존에 분류나 토큰 생성에 의존하는 텍스트 순위 매기기에서, T5와 같은 강력한 시퀀스-투-시퀀스 모델을 효과적으로 활용할 수 있는 격차를 메우기 위해.
• 이산 토큰이 아닌 실수값 순위 점수를 직접 출력할 수 있도록 T5를 수정하여 순위 전용 목표 함수와 함께 엔드 투 엔드 최적화를 가능하게 하기 위해.
• 분류 기반 미세조정과 비교하여 순위 손실(쌍별/리스트)을 사용한 미세조정이 도메인 내 및 제로샷 도메인 외 성능 향상에 기여하는지 조사하기 위해.
• 리스트와 같은 손실(예: Softmax)을 사용할 때 훈련 리스트 크기의 영향을 분석하기 위해.
• 다양한 도메인 외 벤치마크에서 순위 손실로 미세조정된 모델과 포oinwise 분류 손실로 미세조정된 모델의 일반화 능력을 비교하기 위해.

제안 방법

• 인코더-디코더 아키텍처는 점수 토큰을 생성하고, 인코더-오직 아키텍처는 헤드 레이어를 통해 실수값 점수로 회귀하는 두 가지 RankT5 모델 버전을 제안한다.
• 표준 교차 엔트로피 손실 대신 순위 손실(특히 PointCE(포인트와이즈), Softmax(리스트와이즈), 쌍별 손실)을 사용하여 모델을 미세조정한다.
• 한 번의 쿼리-문서 쌍에 하나의 양성 문서와 여러 음성 문서를 포함하는 리스트 형태로 훈련 데이터를 구성하며, 리스트 크기를 5에서 36까지 다양하게 조정하여 영향을 분석한다.
• 추론 시에는 인코더-오직 버전을 사용하고, [CLS] 토큰 표현을 연속적인 순위 점수로 매핑하기 위해 회귀 헤드를 적용한다.
• BM25가 추출한 상위 1000개 문서를 재순서하기 위해 제로샷 평가에서 다양한 BEIR 벤치마크 데이터셋에 대해 미세조정된 모델을 적용한다.
• 표준 T5 미세조정 절차를 사용하지만, NDCG와 같은 순위 메트릭을 최대화하도록 설계된 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 T5가 이산 토큰 대신 연속적인 순위 점수를 출력하도록 수정함으로써 텍스트 순위 매기기 작업에 효과적으로 적용될 수 있는가?
• RQ2 Softmax와 같은 리스트와 같은 순위 손실로 T5를 미세조정하면 포인트와이즈 분류 손실 대비 도메인 내 및 제로샷 성능이 향상되는가?
• RQ3 리스트와 같은 손실을 사용할 때 훈련 리스트 크기(각 쿼리당 문서 수)가 모델 성능에 어떤 영향을 미치는가?
• RQ4 순위 손실로 미세조정된 모델이 분류 손실로 미세조정된 모델보다 도메인 외 데이터에 더 잘 일반화되는가?
• RQ5 저자료 또는 제로샷 조건에서 인코더-디코더와 인코더-오직 RankT5 아키텍처 간 성능에 차이가 있는가?

주요 결과

• 리스트와 같은 순위 손실, 특히 Softmax 손실로 미세조정된 RankT5 모델은 MS MARCO와 Natural Question 데이터셋에서 분류 기반 미세조정 대비 뚜렷한 성능 향상을 보였다.
• 15개의 BEIR 도메인 외 데이터셋에서 Softmax 손실은 PointCE 손실 대비 평균 +2.1% NDCG@10 향상되었으며, 통계적으로 유의미한 개선(α ≤ 0.05)을 보였다.
• 의료 분야 데이터셋인 TREC-COVID, BioASQ, NFCorpus에서는 Softmax 손실이 PointCE 대비 평균 +4.6% 향상되었으며, 더 나은 도메인 일반화 능력을 보였다.
• 훈련 리스트 크기가 클수록 성능 향상이 이루어졌으며, NQ에서는 리스트 크기가 30 이상일 때 포화 상태에 도달했고, MS MARCO에서는 리스트 크기가 36까지 일관된 추세를 보였다.
• 회귀 헤드를 갖춘 인코더-오직 RankT5 버전은 뛰어난 성능을 보이며 효율적인 추론을 가능하게 하여 초기 순위 매기기 단계에 적합하다.
• 리스트와 같은 손실로 미세조정하면 모델이 관련성의 추상적 개념을 더 잘 포착하여 코퍼스 기반 기억에 의존도를 줄였다.