[논문 리뷰] The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models

Ronak Pradeep, Rodrigo Nogueira외 1명|arXiv (Cornell University)|2021. 01. 14.

Topic Modeling참고 문헌 61인용 수 40

한 줄 요약

논문은 사전학습된 시퀀스-투-시퀀스 모델을 포함한 문서 확장과 두 번의 재랭킹 단계(monoT5 및 duoT5)를 사용한 다단계 텍스트 순위 설계인 Expando-Mono-Duo를 소개하며, 오픈 소스 구현으로 여러 벤치마크에서 검증되었습니다.

ABSTRACT

We propose a design pattern for tackling text ranking problems, dubbed "Expando-Mono-Duo", that has been empirically validated for a number of ad hoc retrieval tasks in different domains. At the core, our design relies on pretrained sequence-to-sequence models within a standard multi-stage ranking architecture. "Expando" refers to the use of document expansion techniques to enrich keyword representations of texts prior to inverted indexing. "Mono" and "Duo" refer to components in a reranking pipeline based on a pointwise model and a pairwise model that rerank initial candidates retrieved using keyword search. We present experimental results from the MS MARCO passage and document ranking tasks, the TREC 2020 Deep Learning Track, and the TREC-COVID challenge that validate our design. In all these tasks, we achieve effectiveness that is at or near the state of the art, in some cases using a zero-shot approach that does not exploit any training data from the target task. To support replicability, implementations of our design pattern are open-sourced in the Pyserini IR toolkit and PyGaggle neural reranking library.

연구 동기 및 목표

• 문서 확장과 seq-to-seq 모델을 결합한 재사용 가능한 텍스트 순위 설계 패턴을 다단계 파이프라인으로 제시한다.
• 제로샷 설정을 포함한 여러 애드호크 검색 작업 및 도메인에서의 유효성을 시연한다.
• 구성 요소의 기여를 정량화하기 위한 End-to-End 설명 및 Ablation을 제공한다.
• 복제 및 채택을 지원하기 위한 오픈 소스 구현을 제공한다.

제안 방법

• 사전학습된 시퀀스-투-시퀀스 모델을 사용하여 각 문서에 쿼리와 유사한 확장을 생성하고 이를 추가하는 초기 문서 확장(Expando) 단계로 표준 다단계 랭킹 아키텍처를 확장한다.
• 역인덱싱(BM25)을 통한 첫 번째 단계 키워드 검색으로 후보 집합을 생성한다.
• MonoT5(포인트와이즈)와 DuoT5(페어와이즈)를 차례로 적용하는 두 단계 재랭킹 파이프라인으로 재랭킹 정확도를 향상시킨다.
• MonoT5 및 DuoT5의 입력-출력 형식, 확률을 산출하는 방법, 그리고 쌍별 점수의 합계(Sum, Sum-Log, Sym-Sum, Sym-Sum-Log)로 집계하는 방법을 설명한다.
• 노출되는 노이즈 및 입력 길이 문제를 피하기 위해 재랭킹 입력에서 확장 쿼리를 제외하는 등의 실용적 고려사항을 논의한다.
• Pyserini IR toolkit 및 PyGaggle 신경 재랭킹 라이브러리를 사용하여 배포 및 실험 재현을 위한 상세 정보를 제공한다.

실험 결과

연구 질문

• RQ1 Expando-Mono-Duo 패턴이 여러 애드호크 검색 작업에서 최첨단 또는 근접 최첨단의 효과를 달성하는가?
• RQ2 태스크 특정 미세조정 없이도 시퀀스-투-시퀀스 모델을 통한 문서 확장이 초기 검색 성능을 개선할 수 있는가?
• RQ3 Mono 및 Duo 구성요소와 그 집계 전략이 최종 랭킹 품질에 미치는 영향은 무엇인가?
• RQ4 새로운 태스크/데이터셋에 패턴을 적용할 때 제로샷 성능은 어떻게 비교되는가?
• RQ5 Expando-Mono-Duo를 배포할 때의 입력 길이, 계산 비용 등의 실용적 고려사항은 무엇인가?

주요 결과

• 시퀀스-투-시퀀스 모델을 사용한 문서 확장은 인덱싱 전 표현을 풍부하게 하여 1차 검색을 향상시킨다.
• MonoT5와 DuoT5를 사용한 2단계 재랭킹 파이프라인은 여러 벤치마크에서 최첨단 혹은 근접 최첨단의 효과를 보인다.
• 태스크 특정 미세조정 없이도 제로샷 설정에서 강력한 성능을 달성할 수 있어 패턴의 일반성을 보여준다.
• Ablation 분석은 Expando, Mono, Duo 구성요소의 전체 성능 기여를 정량화한다.
• 이 접근법은 오픈 소스 도구(Pyserini IR toolkit 및 PyGaggle)로 구현되어 재현성을 지원한다.