[논문 리뷰] One-Shot Labeling for Automatic Relevance Estimation

Sean MacAvaney, Luca Soldaini|arXiv (Cornell University)|2023. 02. 22.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 정보 검색 평가에서 평가되지 않은 문서('홀')로 인한 편향과 통계적 검정의 저하 문제를 해결하기 위해, 쿼리당 한 개의 알려진 관련 문서만을 사용하여 대규모 언어 모델을 활용해 평가되지 않은 문서의 관련성 여부를 예측하는 One-Shot Labeling (1 SL) 방법을 제안한다. 尽管 F1 점수는 낮았지만(최고 0.63), 1 SL는 전체 인간 평가와 높은 상관관계(>0.86)를 보이며 시스템 순위를 정확히 반영하고 통계적 검정의 신뢰성을 향상시켜, 깊이 있는 수동 풀링이 필요 없이 비용 효율적이고 확장 가능한 평가를 가능하게 한다.

ABSTRACT

Dealing with unjudged documents ("holes") in relevance assessments is a perennial problem when evaluating search systems with offline experiments. Holes can reduce the apparent effectiveness of retrieval systems during evaluation and introduce biases in models trained with incomplete data. In this work, we explore whether large language models can help us fill such holes to improve offline evaluations. We examine an extreme, albeit common, evaluation setting wherein only a single known relevant document per query is available for evaluation. We then explore various approaches for predicting the relevance of unjudged documents with respect to a query and the known relevant document, including nearest neighbor, supervised, and prompting techniques. We find that although the predictions of these One-Shot Labelers (1SL) frequently disagree with human assessments, the labels they produce yield a far more reliable ranking of systems than the single labels do alone. Specifically, the strongest approaches can consistently reach system ranking correlations of over 0.86 with the full rankings over a variety of measures. Meanwhile, the approach substantially increases the reliability of t-tests due to filling holes in relevance assessments, giving researchers more confidence in results they find to be significant. Alongside this work, we release an easy-to-use software package to enable the use of 1SL for evaluation of other ad-hoc collections or systems.

연구 동기 및 목표

• 평가되지 않은 문서('홀')로 인해 시스템 평가가 편향되고 통계적 검정의 능력이 저하되는 문제를 해결하기 위해.
• 쿼리당 한 개의 관련 문서만 제공될 때, 대규모 언어 모델이 평가되지 않은 문서의 관련성을 신뢰성 있게 추정할 수 있는지 탐색하기 위해.
• 자동 레이블링이 전체 인간 평가와 높은 상관관계를 가지는 시스템 순위를 생성할 수 있는지 평가하기 위해, 특히 정밀도 중심 평가 지표에서의 성능을 중심으로 한다.
• 평가에 누락된 관련성 평가가 통계적 유의성 검정(예: t-검정)의 신뢰성을 떨어뜨리는 문제를 줄이기 위해 관련성 예측을 통해 시스템 비교의 신뢰성을 향상시키기 위해.
• 비용 효율적이고 확장 가능한 평가를 가능하게 하기 위해 깊이 있는 수동 풀링을 자동화된 레이블링으로 대체함으로써 평가의 정밀도를 유지하기 위해.

제안 방법

• 각 쿼리당 한 개의 알려진 관련 문서를 참조로 하여 다양한 LLM 기반 접근 방식을 통해 평가되지 않은 문서의 관련성을 유추한다.
• 세 가지 주요 1 SL 기법을 평가한다: 밀도 벡터 유사도를 활용한 k-최근접 이웃 검색, 지도 학습 기반 상대적 관련성 스코어러(DuoT5), 그리고 zero-shot 프롬프팅 접근 방식(FlanT5/DuoPrompt).
• 관련성 예측 결과를 사용하여 Recall 무관 C/W/L 평가 지표인 SDCG@10, P@10, RBP(p=0.8)를 활용해 시스템 성능을 추정한다.
• 1 SL 예측 결과에서 유도된 시스템 순위를 전체 인간 평가 결과와 비교하기 위해 Kendall’s tau 및 Spearman’s 순위 상관관계를 사용한다.
• 1 SL 예측 평가 기반의 시스템 비교 유의성은 t-검정을 통해 평가하며, 전체 qrels 기반 결과와 비교하여 성능을 평가한다.
• 이 방법은 다른 어드혹 검색 컬렉션에서의 재사용을 가능하게 하기 위해 오픈소스 패키지(autoqrels)로 구현되어 있다.

실험 결과

연구 질문

• RQ1 한 개의 관련 문서만을 사용한 One-Shot Labeling이 전체 인간 관련성 평가 결과와 높은 상관관계를 가지는 시스템 순위를 생성할 수 있는가?
• RQ2 다양한 LLM 기반 1 SL 방법(예: 최근접 이웃, 지도 학습, 프롬프팅)은 관련성 예측 능력과 시스템 순위 유지 능력에서 어떻게 상호 비교되는가?
• RQ3 1 SL 예측 평가 결과는 누락된 평가 대비 통계적 유의성 검정(예: t-검정)의 신뢰성 향상에 어느 정도 기여하는가?
• RQ4 1 SL는 특히 전체 평가가 불가능한 상황에서 공유 작업에서 깊이 있는 수동 관련성 평가를 대체할 수 있는가?
• RQ5 1 SL의 한계는 재현율 추정, 다중 문서 관련성, 모델 편향 측면에서 어떻게 드러나는가?

주요 결과

• 가장 강력한 1 SL 기법인 DuoPrompt는 TREC DL 2019–2021 전반에서 전체 인간 평가와 0.97~0.98의 높은 순위 상관관계를 달성했으며, 모든 평가 지표에서 일관되게 0.86 이상의 상관관계를 확보했다.
• DuoPrompt는 다른 방법보다 더 안정적인 t-검정 결과를 보였으며, 전체 qrels 기반 결과와 비교해 더 적은 수의 거짓 양성 및 거짓 음성 결과를 기록했다.
• 지도 학습 모델인 DuoT5 역시 높은 상관관계(0.87–0.92)를 달성했지만, DuoPrompt보다 더 많은 거짓 양성 t-검정 결과를 기록했다.
• MaxRep 기반 방법은 성능이 열악했으며, 상관관계 값이 0.5 이하이고 특히 MaxRep-BM25의 경우 높은 거짓 양성 비율을 보였다.
• 예측 없이 단 한 개의 레이블링된 문서만을 사용할 경우, 매우 정확도가 낮은 순위가 도출되며, 거짓 양성 t-검정 비율도 높아지며, 해당 문서를 기여한 시스템에 유리하게 작용했다.
• 최소한의 인간 레이블링으로도 신뢰할 수 있는 평가가 가능하므로, 1 SL는 깊이 있는 수동 풀링의 필요성을 줄일 수 있으며 평가의 정밀도를 유지할 수 있음을 시사한다.