[논문 리뷰] Generative Query Reformulation for Effective Adhoc Search

Xiao Wang, Sean MacAvaney외 2명|arXiv (Cornell University)|2023. 08. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 광고 대상 검색의 효율성을 향상시키기 위해 T5 및 FLAN-T5 모델을 사용한 생성형 쿼리 재구성 기법을 제안한다. 두 가지 프레임워크인 GenQR(직접 쿼리 재구성)와 GenPRF(가짜 관련성 피드백을 통한 재구성)를 도입하며, 미세조정과 프롬프팅을 모두 활용한다. 결과적으로 RM3를 뛰어넘는 유의미한 성능 향상을 보이며, 복잡한 신경망 모델과도 경쟁 가능한 성능을 기록한다. 특히 TREC 컬렉션에서 신경망 재순서 모델과 조합할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

Performing automatic reformulations of a user's query is a popular paradigm used in information retrieval (IR) for improving effectiveness -- as exemplified by the pseudo-relevance feedback approaches, which expand the query in order to alleviate the vocabulary mismatch problem. Recent advancements in generative language models have demonstrated their ability in generating responses that are relevant to a given prompt. In light of this success, we seek to study the capacity of such models to perform query reformulation and how they compare with long-standing query reformulation methods that use pseudo-relevance feedback. In particular, we investigate two representative query reformulation frameworks, GenQR and GenPRF. GenQR directly reformulates the user's input query, while GenPRF provides additional context for the query by making use of pseudo-relevance feedback information. For each reformulation method, we leverage different techniques, including fine-tuning and direct prompting, to harness the knowledge of language models. The reformulated queries produced by the generative models are demonstrated to markedly benefit the effectiveness of a state-of-the-art retrieval pipeline on four TREC test collections (varying from TREC 2004 Robust to the TREC 2019 Deep Learning). Furthermore, our results indicate that our studied generative models can outperform various statistical query expansion approaches while remaining comparable to other existing complex neural query reformulation models, with the added benefit of being simpler to implement.

연구 동기 및 목표

• 생성형 언어 모델이 광고 대상 검색에서 어휘 불일치 문제를 줄이기 위해 사용자 쿼리를 효과적으로 재구성할 수 있는지 조사한다.
• 쿼리 재구성 작업에서 사전학습된 모델을 활용하기 위한 미세조정 대비 프롬프팅 전략의 성능을 비교한다.
• 생성형 모델를 활용해 가짜 관련성 피드백(PrF) 컨텍스트를 재구성에 통합할 경우의 영향을 평가한다.
• 신경망 재순서 모델과 조합했을 때 생성형 재구성 기법이 검색 성능 향상에 얼마나 효과적인지 평가한다.
• 문서 수준의 확장 방법(예: docT5query)과 대비해 쿼리 시간에만 작동하는 경량 대안을 제공한다.

제안 방법

• 두 가지 프레임워크인 GenQR(직접 입력 쿼리를 재구성하는 시퀀스-투-시퀀스 모델 사용)와 GenPRF(가짜 관련 문서에서 유도된 컨텍스트 정보를 쿼리에 통합)를 제안한다.
• T5 및 FLAN-T5 모델을 쿼리 재구성에 적응시키기 위해 미세조정과 소수 샘플 프롬프팅 기법을 모두 활용한다.
• 초기 희소 검색 단계(BM25 등)의 검색 결과를 활용해 GenPRF의 컨텍스트로 사용할 가짜 관련 문서를 추출한다.
• 재구성된 쿼리를 동일한 역인verted 인덱스에 적용하여 더 높은 재검색률을 보장하는 후보 집합을 생성한 후 신경망 재순서를 적용한다.
• 재구성된 쿼리와 신경망 재순서 모델(BERT 기반 등)을 조합하여 순위 매기기 성능을 향상시킨다.
• nDCG@10 및 재검색률과 같은 표준 정보검색 메트릭을 사용해 네 가지 TREC 테스트 컬렉션(TREC 2004 Robust에서 TREC 2019 Deep Learning까지)에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 생성형 언어 모델이 광고 대상 검색 성능 향상에 기여하기 위해 사용자 쿼리를 효과적으로 재구성할 수 있는가?
• RQ2 프롬프팅 기반 방법(예: FLAN-T5)이 쿼리 재구성 작업에서 미세조정된 모델(예: T5)보다 성능이 떨어지는가?
• RQ3 프롬프트에 가짜 관련성 피드백 컨텍스트를 통합할 경우 재구성 품질과 검색 성능 향상에 기여하는가?
• RQ4 생성형 쿼리 재구성 기법이 RM3와 같은 전통적 통계 기반 방법보다 재검색률과 정밀도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 docT5query와 같은 문서 수준의 확장 방법과 비교해 생성형 쿼리 재구성 기법이 더 효율적인가?

주요 결과

• GenQR 및 GenPRF 모델은 네 가지 TREC 테스트 컬렉션 전반에서 기준 모델 대비 nDCG@10 및 재검색률 향상을 유의미하게 기록한다.
• FlanQR 및 FlanPRF와 같은 FLAN-T5 기반 프롬프팅 모델은 파rameter 업데이트 없이도 미세조정된 T5 모델과 유사한 성능을 달성한다.
• GenPRF는 가짜 관련 문서에서 유도된 컨텍스트 정보를 활용함으로써 GenQR을 능가하는 성능을 보이며, 피드백 인식형 재구성의 가치를 입증한다.
• 고품질 훈련 데이터가 확보된 경우, 미세조정된 모델(T5QR 및 T5PRF)이 프롬프팅 기반 모델보다 더 우수한 성능을 기록한다.
• 생성형 재구성과 신경망 재순서 모델의 조합은 RM3보다 뛰어난 성능을 보이며, 특히 상위 순위 정밀도(nDCG@10)에서 두드러진다.
• 이 방법은 docT5query와 달리 색인 시간에 비용이 많이 드는 문서 수준 모델링 없이도 효율적이고 실시간 쿼리 재구성 기능을 제공한다.