[논문 리뷰] Document Ranking with a Pretrained Sequence-to-Sequence Model

Rodrigo Nogueira, Zhiying Jiang외 1명|arXiv (Cornell University)|2020. 03. 14.

Topic Modeling참고 문헌 19인용 수 18

한 줄 요약

이 논문은 T5를 사용하여 문서 재정렬을 위한 새로운 시퀀스-투-시퀀스 미세조정 방법을 제안한다. 관련성은 목표 토큰으로 '참' 또는 '거짓'을 생성함으로써 예측된다. 이 방법은 유창한 생성을 통해 모델의 잠재적 의미 지식을 활용함으로써, 특히 데이터가 적은 환경에서 BERT 기반 분류 모델을 능가하며, TREC Robust04에서 최신 기술 수준의 제로샷 전이 성능을 달성하고 데이터 효율성도 뛰어나다.

ABSTRACT

This work proposes a novel adaptation of a pretrained sequence-to-sequence model to the task of document ranking. Our approach is fundamentally different from a commonly-adopted classification-based formulation of ranking, based on encoder-only pretrained transformer architectures such as BERT. We show how a sequence-to-sequence model can be trained to generate relevance labels as "target words", and how the underlying logits of these target words can be interpreted as relevance probabilities for ranking. On the popular MS MARCO passage ranking task, experimental results show that our approach is at least on par with previous classification-based models and can surpass them with larger, more-recent models. On the test collection from the TREC 2004 Robust Track, we demonstrate a zero-shot transfer-based approach that outperforms previous state-of-the-art models requiring in-dataset cross-validation. Furthermore, we find that our approach significantly outperforms an encoder-only model in a data-poor regime (i.e., with few training examples). We investigate this observation further by varying target words to probe the model's use of latent knowledge.

연구 동기 및 목표

• 사전 훈련된 시퀀스-투-시퀀스 모델을 사용하여 분류 기반 문서 재정렬의 생성 기반 대안을 탐색한다.
• 시퀀스-투-시퀀스 모델이 특히 데이터가 부족한 환경에서 잠재적 의미 지식을 어떻게 활용할 수 있는지 평가한다.
• 다양한 목표 단어 선택이 모델의 의미 및 언어적 지식 사용에 어떻게 영향을 주는지 조사한다.
• 다양한 데이터 가용성 조건에서 표준 BERT 기반 분류 모델과의 비교를 통해 시퀀스-투-시퀀스 모델의 효과성을 평가한다.
• 내부 데이터셋 하이퍼파rameter 튜닝 없이 TREC Robust04에서 제로샷 전이 능력을 입증한다.

제안 방법

• 입력 형식은 '질문: q 문서: d 관련: '이며, 모델은 질의-문서 쌍을 입력으로 받아 출력 토큰으로 '참' 또는 '거짓'을 생성하도록 미세조정된다.
• 추론 시, 관련성 확률은 '참' 토큰의 소프트맥스 정규화된 로짓에서 유도되며, 이는 관련성 점수를 통해 랭킹이 가능하다.
• 목표 단어는 단일 서브워드 토큰('참', '거짓' 등)으로 선택되어 서브워드 집계 복잡성을 방지하고 해석 가능성을 유지한다.
• 이 접근법은 문서 관련성을 텍스트 생성 작업으로 간주함으로써, 사전 훈련 과정에서 유도된 의미적 및 문법적 지식을 활용할 수 있도록 한다.
• 프로빙 실험은 모델이 의미 관련성, 극성, 언어적 구조에 얼마나 의존하는지 테스트하기 위해 목표 단어를 다양하게 변경한다.
• MS MARCO 파assage 랭킹 및 TREC Robust04에서 실험을 수행하였으며, 데이터 부족 및 목표 단어 구성에 대한 분석 실험도 실시하였다.

실험 결과

연구 질문

• RQ1 T5와 같은 시퀀스-투-시퀀스 모델은 관련성 예측을 텍스트 생성 작업으로 프레임할 경우 문서 재정렬에 효과적으로 적용될 수 있는가?
• RQ2 훈련 데이터가 제한된 경우, 시퀀스-투-시퀀스 접근법이 BERT와 같은 분류 기반 모델보다 우수한가?
• RQ3 모델이 기억된 레이블 매핑이 아닌, 잠재적 의미 지식에 얼마나 의존하는가?
• RQ4 예를 들어 반대어, 동의어 또는 무관한 단어와 같은 다양한 목표 단어 선택이 모델 성능과 강건성에 어떻게 영향을 주는가?
• RQ5 내부 데이터셋 하이퍼파rameter 튜닝 없이도 TREC Robust04와 같이 새로운 테스트 컬렉션에 대해 제로샷 일반화가 가능한가?

주요 결과

• MS MARCO 파assage 랭킹 작업에서 T5 기반 방법은 BERT 기반 모델과 동일하거나 이를 초월하며, 특히 더 큰 모델과 데이터가 적은 환경에서 뛰어난 성능을 보였다.
• 단 2,000개의 훈련 예제만으로도 T5 모델은 BERT를 크게 앞서며, 뛰어난 데이터 효율성을 입증했다.
• TREC Robust04에서 제로샷 전이 접근법은 내부 데이터셋 교차검증이 필요한 이전 최신 기술 수준의 모델을 능가했다.
• 기본 설정('참'/'거짓')은 2,000개 및 20,000개 데이터 설정 모두에서 가장 높은 성능를 기록했으며, 이는 모델의 사전 훈련과의 강한 일치를 시사한다.
• 무관한 또는 서브워드 토큰('_ab', '_de' 등)을 사용한 프로빙은 성능이 크게 떨어졌으며, 이는 모델이 의미적 및 언어적 지식에 의존하고 있음을 확인한다.
• 의미적으로 관련된 목표어(예: '사과'와 '오렌지')를 사용할 경우, 극성 대비(예: '뜨겁다'와 '차갑다')보다 성능이 더 좋았으며, 이는 이진 분류를 넘어서는 세밀한 의미 이해 능력을 보여준다.