[논문 리뷰] HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking

Yanzhao Zhang, Dingkun Long외 2명|arXiv (Cornell University)|2022. 05. 21.

Topic Modeling인용 수 12

한 줄 요약

HLATR는 다단계 텍스트 검색에서 별도의 단계에서 유도된 검색 및 재순서 정렬 특징을 융합하는 경량이며 하이브리드 리스트 인식 트랜스포머 재순서 정렬 모델을 제안한다. 이는 검색 순위에서 유도된 위치 인식 임베딩과 BERT 기반의 관련성 로짓을 사용한다. 최소한의 추론 비용으로 최신 기술 성능을 달성하며, 기준 모델 대비 MS MARCO 파assage 데이터셋에서 최대 4.3점, 문서 데이터셋에서 3.5점의 MRR@10 향상을 보였다.

ABSTRACT

Deep pre-trained language models (e,g. BERT) are effective at large-scale text retrieval task. Existing text retrieval systems with state-of-the-art performance usually adopt a retrieve-then-reranking architecture due to the high computational cost of pre-trained language models and the large corpus size. Under such a multi-stage architecture, previous studies mainly focused on optimizing single stage of the framework thus improving the overall retrieval performance. However, how to directly couple multi-stage features for optimization has not been well studied. In this paper, we design Hybrid List Aware Transformer Reranking (HLATR) as a subsequent reranking module to incorporate both retrieval and reranking stage features. HLATR is lightweight and can be easily parallelized with existing text retrieval systems so that the reranking process can be performed in a single yet efficient processing. Empirical experiments on two large-scale text retrieval datasets show that HLATR can efficiently improve the ranking performance of existing multi-stage text retrieval methods.

연구 동기 및 목표

• 다단계 텍스트 검색 시스템에서 검색 및 재순서 정렬 단계를 종합적으로 최적화하는 데 있어 발생하는 격차를 해결하기 위해.
• 粗미세 검색 특징을 효과적으로 융합하여 순서 정렬 성능을 향상시키기 위해.
• 기존 검색 파이프라인에 쉽게 통합될 수 있도록 경량이며 병렬 처리 가능한 재순서 정렬 모듈을 설계하기 위해.
• 주의 메커니즘을 활용한 리스트 인식 모델링이 간단한 모델보다 문서 관련성 의존성을 더 잘 포착하는지 검증하기 위해.
• 불균형 텍스트 순서 정렬 데이터에 대해 대비 손실 함수가 이진 교차 엔트로피보다 더 효과적인지 보여주기 위해.

제안 방법

• 각 토큰이 문서를 나타내는 트랜스포머 인코더를 사용하며, 입력 임베딩은 사전 훈련된 재순서 정렬 모델의 관련성 로짓으로 구성된다.
• 문서의 초기 검색 목록 내 순위에서 유도된 위치 임베딩을 사용하여 리스트 인식 모델링을 가능하게 한다.
• 일반화 성능 향상을 위해 관련성 순서 정렬을 최적화하기 위해 대비 학습 목표를 활용한다.
• 아키텍처를 변경하지 않고도 어떤 기존 검색 및 재순서 정렬 파이프라인과도 통합 가능한 플러그인 모듈로 설계되어 있다.
• 소수의 파라미터를 가진 경량 아키텍처로, 빠른 추론(1000개의 쿼리당 2ms)을 가능하게 한다.
• 제거 실험에서는 트랜스포머 대신 다층 퍼셉트론(MLP)을 사용한 변형과 이진 교차 엔트로피 손실 대비 대비 손실을 사용한 변형을 비교하여 설계 선택의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 검색 단계의 순위와 재순서 정렬 단계의 관련성 점수를 융합하면 종합적인 텍스트 검색 성능이 향상되는가?
• RQ2 리스트 인식 트랜스포머 아키텍처가 비리스트 인식 모델보다 재순서 정렬 작업에서 더 효과적인가?
• RQ3 불균형 텍스트 순서 정렬 데이터의 맥락에서 대비 학습이 이진 교차 엔트로피보다 우수한가?
• RQ4 HLATR 모델의 아키텍처 설계(깊이, 너비)가 성능과 효율성에 어떤 영향을 미치는가?
• RQ5 HLATR는 추론 비용을 크게 증가시키지 않고도 실세계 시스템에 효율적으로 구현 가능한가?

주요 결과

• MS MARCO 파assage 데이터셋에서 HLATR는 MRR@10이 42.6을 기록하여 최고의 기준 모델(WCR)보다 0.8점 높다.
• MS MARCO 문서 데이터셋에서 HLATR는 검색 단계의 MRR@10 39.4에서 43.5로 향상되어 4.1점의 향상을 보였다.
• 제거 실험 결과, 트랜스포머 인코더를 2층의 MLP로 대체할 경우 성능 저하가 발생하여, 리스트 의존성 모델링에 주의 메커니즘이 필수적임을 확인했다.
• 이진 교차 엔트로피 손실을 대비 손실로 대체할 경우 MRR@10가 0.9점 감소하여, 대비 학습이 불균형 순서 정렬 데이터에 더 적합함을 시사한다.
• HLATR는 1000개의 쿼리당 뿐만 아니라 2ms의 추론 시간을 기록하여 BERT-base 및 BERT-large 모델 대비 300~450배 빠르게 작동한다.
• 최적의 성능는 작은 은닉 차원(d=128)과 3~4개의 트랜스포머 레이어에서 달성되며, 이는 기능 융합에 높은 용량이 불필요함을 시사한다.