[논문 리뷰] When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets

Orion Weller, Kyle Lo외 5명|arXiv (Cornell University)|2023. 09. 15.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Model, LLM) 기반 쿼리 및 문서 확장을 정보 검색에서 언제 실패하는지 조사한다. 연구 결과, 확장은 약한 검색 모델에 크게 개선을 가져오지만, 더 강한 모델에서는 노이즈로 인해 관련성 순위가 악화되어 성능이 떨어지므로, 확장을 약한 모델이나 분포 외부 설정에만 사용하는 것이 바람직하다는 것을 시사한다.

ABSTRACT

Using large language models (LMs) for query or document expansion can improve generalization in information retrieval. However, it is unknown whether these techniques are universally beneficial or only effective in specific settings, such as for particular retrieval models, dataset domains, or query types. To answer this, we conduct the first comprehensive analysis of LM-based expansion. We find that there exists a strong negative correlation between retriever performance and gains from expansion: expansion improves scores for weaker models, but generally harms stronger models. We show this trend holds across a set of eleven expansion techniques, twelve datasets with diverse distribution shifts, and twenty-four retrieval models. Through qualitative error analysis, we hypothesize that although expansions provide extra information (potentially improving recall), they add additional noise that makes it difficult to discern between the top relevant documents (thus introducing false positives). Our results suggest the following recipe: use expansions for weaker models or when the target dataset significantly differs from training corpus in format; otherwise, avoid expansions to keep the relevance signal clear.

연구 동기 및 목표

• LLM 기반 쿼리 및 문서 확장이 정보 검색을 보편적으로 향상시키는지, 아니면 모델의 강도에 따라 달라지는지 이해하는 것.
• 다양한 검색 모델, 데이터셋, 분포 이탈 상황에서 확장의 효과가 어떻게 달라지는지 평가하는 것.
• 정보를 추가로 제공함에도 불구하고 성능이 악화되는 조건을 특정하는 것.
• 모델 능력과 데이터 분포에 기반한 확장 사용 시점에 대해 원칙적인 권고를 제공하는 것.

제안 방법

• 연구는 BEIR 및 기타 벤치마크 데이터셋에서 표준 IR 메트릭(예: MRR, Recall)을 사용한 표준화된 평가 프로토콜을 적용하여, 24개의 검색 모델과 12개의 데이터셋에서 11종류의 확장 기법을 평가한다.
• 확장은 지침 편조된 LLM(예: GPT-3.5, Llama-2)을 통해 추가적인 쿼리 또는 문서 텍스트를 생성함으로써 적용된다.
• 분석은 첫 번째 단계 검색기(BM25, ColBERT, bi-encoder 등)와 재정렬기(BERT, DeBERTa 등)에서 확장 유무에 따른 성능을 비교한다.
• 특히 상위 랭크된 결과에서 발생하는 가짜 양성 결과를 분석하기 위해 정성적 오류 분석을 수행한다.
• 검색 모델 성능과 확장으로 인한 성능 향상 간의 상관관계를 정량화하기 위해 통계적 상관 분석을 실시한다.

Figure 1: Methods like query expansion and document expansion typically improve performance when used with weaker models but not for stronger models; more accurate models generally lose relevance signal when expansions are provided. Best expansion and model results taken from those in Table 1 .

실험 결과

연구 질문

• RQ1 RQ1: 검색 모델의 성능가 확장으로 인한 성능 향상에 어떤 영향을 미치는가?
• RQ2 RQ2: 다양한 종류의 분포 이탈(예: 도메인, 형식, 관련성, 쿼리 길이)이 확장의 효과성에 어떤 영향을 미치는가?
• RQ3 RQ3: 추가 정보를 제공함에도 불구하고 확장이 더 강력한 검색 모델에 악영향을 미치는 이유는 무엇인가?
• RQ4 RQ4: 강력한 모델에게도 일관되게 성능 향상을 이끄는 특정 조건가 존재하는가?

주요 결과

• 검색 모델 성능과 확장으로 인한 성능 향상 간에 강한 음의 상관관계가 존재한다: 약한 모델은 유익을 얻지만, 강한 모델는 일관되게 성능 저하를 겪는다.
• 강한 모델에 대한 확장의 부정적 영향는 11종류의 확장 기법, 12개의 데이터셋, 24개의 검색 모델 전반에서 유지되며 일반적인 경향임을 시사한다.
• 확장은 관련 맥락을 추가함으로써 재현율을 높이지만, 노이즈를 유발하여 정밀도를 떨어뜨려 상위 랭크 결과에서 더 많은 가짜 양성 결과를 초래한다.
• 유일한 예외는 장문의 쿼리 이슬로, 이 경우 확장은 강력한 모델까지 도움을 주며, 쿼리 길이가 확장의 유용성에 핵심 요소임을 시사한다.
• 형식 이슬 상황에서는 강력한 모델가 달성한 성능 이상의 이점을 확장으로부터 기대할 수 없다.
• 결과적으로, 확장을 통해 순수한 관련성 신호를 유지하기 위해 강력한 모델에는 확장을 피하고, 약한 모델이나 분포 외부 설정에서 사용하는 것이 가장 효과적이다.

Figure 2: Effect of expansion over twelve datasets. For each dataset, markers show base performance for models, while the boxplot indicates the range of changes in scores for document and/or query expansion. Across all datasets and models, we note a consistent trend: models with lower base performan