[논문 리뷰] Query Performance Prediction using Relevance Judgments Generated by Large Language Models

Chuan Meng, Negar Arabzadeh외 3명|arXiv (Cornell University)|2024. 04. 01.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 LLM을 사용하여 각 문서에 대한 독립적인 관련성 평가를 수행하는 방식으로 QPP를 분해함으로써, 다수의 IR 평가 지표를 정확하게 예측하고 해석 가능성을 향상시킨 새로운 질의 성능 예측 프레임워크 QPP-GenRE를 제안한다. TREC-DL 19–22에서 인간 레이블 기반의 LLaMA 미세조정과 복사 기반 지표에 대한 효율적 근사 전략을 결합하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Query performance prediction (QPP) aims to estimate the retrieval quality of a search system for a query without human relevance judgments. Previous QPP methods typically return a single scalar value and do not require the predicted values to approximate a specific information retrieval (IR) evaluation measure, leading to certain drawbacks: (i) a single scalar is insufficient to accurately represent different IR evaluation measures, especially when metrics do not highly correlate, and (ii) a single scalar limits the interpretability of QPP methods because solely using a scalar is insufficient to explain QPP results. To address these issues, we propose a QPP framework using automatically generated relevance judgments (QPP-GenRE), which decomposes QPP into independent subtasks of predicting the relevance of each item in a ranked list to a given query. This allows us to predict any IR evaluation measure using the generated relevance judgments as pseudo-labels. This also allows us to interpret predicted IR evaluation measures, and identify, track and rectify errors in generated relevance judgments to improve QPP quality. We predict an item's relevance by using open-source large language models (LLMs) to ensure scientific reproducibility. We face two main challenges: (i) excessive computational costs of judging an entire corpus for predicting a metric considering recall, and (ii) limited performance in prompting open-source LLMs in a zero-/few-shot manner. To solve the challenges, we devise an approximation strategy to predict an IR measure considering recall and propose to fine-tune open-source LLMs using human-labeled relevance judgments. Experiments on the TREC 2019 to 2022 deep learning tracks and CAsT-19 and 20 datasets show that QPP-GenRE achieves state-of-the-art QPP quality for both lexical and neural rankers.

연구 동기 및 목표

• 기존 QPP 방법이 단일 스칼라 예측에 의존하고 해석 가능성이 부족한 점을 해결한다.
• 다양하고 상관관계가 없는 IR 평가 지표를 한 번에 표현할 수 없는 '일괄적 적용' 문제를 해결한다.
• 예측 결과의 해석 가능성을 높이기 위해 각 문서별 관련성 평가를 생성함으로써 해석 가능한 QPP를 실현한다.
• 생성된 관련성 평가의 오류를 식별하고 수정함으로써 QPP 품질을 향상시킨다.
• LLaMA와 같은 오픈소스 LLM을 사용함으로써 과학적 재현 가능성을 확보한다.

제안 방법

• LLM을 활용해 순서가 지정된 문서 목록 내 각 문서의 관련성 예측이라는 하위 작업으로 QPP를 분해한다.
• 자동 생성된 관련성 평가를 편가감 레이블로 사용해 어떤 IR 평가 지표라도 예측한다.
• 상위 몇 개의 문서만 평가함으로써 복잡도가 높은 재현율 기반 지표(예: RR@10, nDCG@10)를 근사하는 전략을 구현한다.
• 인간 레이블 기반 관련성 평가에 대해 PEFT(파rameter-Efficient Fine-Tuning)를 통해 LLaMA를 미세조정하여 생성 품질을 향상시킨다.
• 문서 수준의 평가가 상호 독립적이므로 병렬 추론과 확장성을 보장한다.
• 정확도와 계산 비용의 균형을 맞추기 위해 판단 깊이(n)를 하이퍼파라미터로 사용한다.

Figure 1 . Prompt used by LLMs for automatic generation of relevance judgments.

실험 결과

연구 질문

• RQ1 LLM이 생성한 관련성 평가가 다양한 IR 평가 지표에 대해 QPP의 정확도와 해석 가능성을 향상시키는가?
• RQ2 재현율 기반 지표에 대한 근사 전략은 계산 비용을 줄이면서 QPP 성능에 어떤 영향을 미치는가?
• RQ3 인간 레이블 기반 평가에 대해 LLaMA를 미세조정함으로써 관련성 평가의 품질이 얼마나 향상되는가?
• RQ4 재학습 없이도 QPP-GenRE가 다양한 랭커(어휘적 및 신경망 기반)와 IR 지표(정밀도 및 재현율 기반)에 일반화 가능한가?
• RQ5 질의당 평가하는 문서 수를 변화시킬 경우 QPP 정확도와 추론 지연 간의 상호 상충 관계는 어떠한가?

주요 결과

• QPP-GenRE는 어휘적 및 신경망 랭커 모두에 대해 TREC-DL 19–22 트랙에서 정밀도 및 재현율 기반 지표에서 최신 기술 수준의 성능을 달성한다.
• 공식 IR 지표와의 상관관계 측면에서 기존 QPP 베이스라인(NQA-QPP, BERTQPP, qppBERT-PL, M-QPPF)을 크게 능가한다.
• 판단 깊이 n=10을 사용할 경우, QPP-GenRE는 질의당 452.60ms의 추론 지연을 기록하며, 여러 지표를 동시에 예측할 때 몇몇 지도 기반 베이스라인보다 낮은 지연을 보였다.
• 인간 레이블 기반 평가에 대해 PEFT로 LLaMA를 미세조정함으로써 생성된 관련성 평가의 품질이 향상되었고, 이는 QPP 정확도 향상으로 직접 이어졌다.
• 재현율 기반 지표에 대한 근사 전략은 전체 코퍼스를 스캔할 필요를 크게 줄였지만도 높은 예측 정확도를 유지했다.
• QPP-GenRE는 QPP 정확도 저하를 관찰 가능한 관련성 평가 오류(예: 오진/잔차)로 변환함으로써 오류 분석을 가능하게 하였으며, 이는 모델 개선을 위한 타겟팅된 접근을 지원한다.

(a) BM25 on TREC-DL 19