[논문 리뷰] Wacky Weights in Learned Sparse Representations and the Revenge of Score-at-a-Time Query Evaluation

Joel Mackenzie, Andrew Trotman외 1명|arXiv (Cornell University)|2021. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 16

한 줄 요약

이 논문은 트랜스포머 기반의 학습된 스parse 표현을 사용한 검색 시스템에서 쿼리 평가 효율성을 조사하며, '기묘한'(wacky) 용어 가중치—직관적이지 않고 비표준적인 분포—가 문서-단위(DaaT) 방법에서 최적화 기회를 크게 감소시킨다는 것을 발견한다. 그 결과, 점수-단위(SaaT) 접근 방식이 더 경쟁력 있게 되었으며, 특히 ρ=5인 근사 평가를 사용할 경우 평균 및 꼬리 쿼리 지연 시간에서 상당한 향상이 이루어지면서 최대 3%의 효과성 손실를 감수할 수 있다.

ABSTRACT

Recent advances in retrieval models based on learned sparse representations generated by transformers have led us to, once again, consider score-at-a-time query evaluation techniques for the top-k retrieval problem. Previous studies comparing document-at-a-time and score-at-a-time approaches have consistently found that the former approach yields lower mean query latency, although the latter approach has more predictable query latency. In our experiments with four different retrieval models that exploit representational learning with bags of words, we find that transformers generate "wacky weights" that appear to greatly reduce the opportunities for skipping and early exiting optimizations that lie at the core of standard document-at-a-time techniques. As a result, score-at-a-time approaches appear to be more competitive in terms of query evaluation latency than in previous studies. We find that, if an effectiveness loss of up to three percent can be tolerated, a score-at-a-time approach can yield substantial gains in mean query latency while at the same time dramatically reducing tail latency.

연구 동기 및 목표

• 트랜스포머에서 유도된 학습된 스parse 표현이 쿼리 평가 성능에 미치는 영향를 이해하기 위해.
• 이러한 모델에서 관찰되는 '기묘한' 용어 가중치 분포가 스킵 및 조기 종료와 같은 전통적 DaaT 최적화 기법을 얼마나 저해하는지 조사하기 위해.
• 현대의 학습된 스parse 검색 모델 맥락에서 DaaT와 SaaT 쿼리 평가 전략을 비교하기 위해.
• 근사 평가를 통한 효과성과 쿼리 지연 시간 간의 트레이드오프를 평가하기 위해.
• 용어 가중치가 비표준적이고 예측 불가능할 경우, SaaT가 실질적으로 DaaT를 능가할 수 있는지 평가하기 위해.

제안 방법

• 트랜스포머 기반으로 생성된 학습된 스parse 표현을 기반으로 한 네 가지 검색 모델을 실증적으로 평가: BM25-T5, SPLADEv2, BERT-2021, BERT-2022.
• 이 모델들 전반에 걸쳐 문서-단위(DaaT)와 점수-단위(SaaT) 쿼리 평가 전략을 구현하고 비교.
• 계산 비용을 제어하고 효과성 손실을 측정하기 위해 작업 제한 파라미터 ρ를 활용한 근사 쿼리 평가를 사용.
• 성능 예측 가능성 평가를 위해 평균 쿼리 지연 시간과 꼬리 지연 시간(튜키 박스플롯을 통해)을 측정.
• TREC-COVID 및 TREC-AP 컬렉션을 대상으로 실험하여 효과성(평균 RR@10)과 효율성 평가.
• 모델/시스템 조합 간의 효과성과 지연 시간 간의 파레토 최적 트레이드오프를 분석.

실험 결과

연구 질문

• RQ1 트랜스포머 기반의 학습된 스parse 표현에서 용어 가중치 분포가 문서-단위(DaaT) 쿼리 평가 성능에 미치는 영향는 어떠한가?
• RQ2 정규적인 DaaT 최적화 기법(예: 스킵 및 조기 종료)이 손상되는 정도는 어떠한가? 특히 정지어나 서브워드에 높은 점수를 할당하는 '기묘한' 가중치(예: 고도로 비표준적인 분포)의 영향을 받는가?
• RQ3 학습된 스parse 표현에 적용했을 때, 점수-단위(SaaT) 쿼리 평가가 평균 및 꼬리 쿼리 지연 시간 측면에서 DaaT를 능가하는가?
• RQ4 작업 제한 파라미터 ρ를 활용한 근사 평가를 사용할 경우, 검색 효과성과 쿼리 평가 효율성 간의 트레이드오프는 어떠한가?
• RQ5 기존 연구에서 평균 지연 시간이 더 높았던 점수-단위(SaaT)가, 비표준적이고 예측 불가능한 용어 가중치를 가진 상황에서 실질적으로 DaaT를 능가할 수 있는가?

주요 결과

• 학습된 스parse 표현에서 용어 가중치 분포는 매우 비표준적이며, 정지어나 서브워드와 같은 의미적으로 정보가 없는 단어들에 높은 점수를 할당하는 경향이 있으며, 저자들이 이를 '기묘한'(wacky) 것으로 명명한다.
• 이러한 기묘한 가중치는 스킵 및 조기 종료와 같은 DaaT 최적화 기법의 효과를 심각하게 제한하여, SaaT에 비해 성능 우위를 확보하기 어려워진다.
• ρ=5인 근사 평가를 사용할 경우, 특히 TREC-COVID 컬렉션에서 점수-단위(SaaT) 접근 방식이 DaaT보다 훨씬 낮은 평균 쿼리 지연 시간을 달성한다.
• 최대 3%의 평균 RR@10 손실를 감수함으로써 SaaT는 평균 지연 시간을 52ms(PISTA의 지연 시간의 1/4)로 줄일 수 있을 뿐 아니라 꼬리 지연 시간도 극적으로 낮출 수 있다.
• 파레토 최적 경계는 특정 모델이나 시스템이 항상 우월하지 않음을 보여주며, 대신 효과성과 효율성 간의 응용 분야 특화 트레이드오프에 따라 최적의 선택이 달라진다.
• JASS-A(SaaT에 근사 평가를 적용)는 강력한 쿼리 확장 덕분에 SPLADEv2와 함께 매우 예측 가능한 지연 시간을 달성하며, 각 쿼리당 ρ개의 포스트링을 일관되게 처리한다.