[논문 리뷰] LLMs Can Patch Up Missing Relevance Judgments in Evaluation

Shivani Upadhyay, Ehsan Kamalloo외 1명|arXiv (Cornell University)|2024. 05. 08.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 정보 검색 벤치마크에서 평가되지 않은 문서('홀')에 대해 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 세분화된 관련성 평가를 자동으로 예측하는 프레임워크를 제안한다. 세부 지침과 소수의 예시를 제시함으로써 LLM을 프롬프팅하면, 기준 평가의 10%만 유지된 상태에서도 인간이 평가한 관련성 평가와 높은 상관관계(Kendall τ 0.87–0.92)를 달성하며, 단순히 비관련으로 처리하는 것보다 훨씬 뛰어난 성능을 보인다.

ABSTRACT

Unjudged documents or holes in information retrieval benchmarks are considered non-relevant in evaluation, yielding no gains in measuring effectiveness. However, these missing judgments may inadvertently introduce biases into the evaluation as their prevalence for a retrieval model is heavily contingent on the pooling process. Thus, filling holes becomes crucial in ensuring reliable and accurate evaluation. Collecting human judgment for all documents is cumbersome and impractical. In this paper, we aim at leveraging large language models (LLMs) to automatically label unjudged documents. Our goal is to instruct an LLM using detailed instructions to assign fine-grained relevance judgments to holes. To this end, we systematically simulate scenarios with varying degrees of holes by randomly dropping relevant documents from the relevance judgment in TREC DL tracks. Our experiments reveal a strong correlation between our LLM-based method and ground-truth relevance judgments. Based on our simulation experiments conducted on three TREC DL datasets, in the extreme scenario of retaining only 10% of judgments, our method achieves a Kendall tau correlation of 0.87 and 0.92 on an average for Vicuña-7B and GPT-3.5 Turbo respectively.

연구 동기 및 목표

• 평가 자료의 관련성 평가가 완전하지 않을 경우, 평가되지 않은 문서를 비관련으로 간주함으로써 발생하는 편향을 해결하기 위해.
• 비용이 많이 들고 시간이 오래 걸리는 인간 라벨링에 의존도를 줄이기 위해, LLM을 활용해 평가되지 않은 문서의 관련성 레이블을 자동으로 예측하기 위해.
• 이진 레이블이 아닌, 세분화된 관련성 평가(예: TREC 스타일 레이블)를 수행할 수 있는 강력한 지시 기반 LLM 프레임워크를 개발하기 위해.
• 실제 벤치마크의 '홀'을 시뮬레이션하며, 다양한 정도의 관련성 평가 누락 상황에서 LLM의 성능을 평가하기 위해.
• 훈련 중에 사용하지 않은 데이터셋인 TREC DL 2023을 사용해 테스트함으로써 데이터 泄露가 없는지 확인하기 위해.

제안 방법

• 저자들은 TREC DL 2019, 2020, 2021 데이터셋에서 기준 관련성 평가의 90%를 무작위로 제거하여 평가 자료의 완전하지 않은 상태를 시뮬레이션하고, 평가 데이터에 '홀'을 생성한다.
• 세부 지침과 소수의 예시를 포함한 프롬프팅 전략을 사용하여 LLMs(Vicuña-7B 및 GPT-3.5 Turbo)가 평가되지 않은 쿼리-문서 쌍에 대해 세분화된 관련성 레이블(예: 0에서 3까지)을 할당하도록 지시한다.
• LLM 평가자에게는 쿼리, 문서 텍스트, TREC 지침에 따라 정의된 관련성 수준의 명확한 정의를 포함한 구조화된 프롬프트를 제공한다.
• LLM이 예측한 평가와 기준 평가 간의 상관관계를 측정하기 위해 Kendall’s τ를 사용하며, 이는 순위 일치도를 측정하는 표준 지표이다.
• 성능와 변동성을 비교하기 위해, 영감 없는 프롬프팅(Zero-shot)과 소수의 예시를 포함한 프롬프팅(Few-shot) 설정을 모두 테스트한다.
• 데이터 오염 여부를 검증하기 위해, 훈련 중에 사용하지 않은 TREC DL 2023 qrels에 LLM을 적용하여 데이터 泄露가 발생하지 않았는지 확인한다.

실험 결과

연구 질문

• RQ1 LLM은 IR 평가 자료에서 평가되지 않은 문서에 대해 세분화된 관련성 평가를 정확히 예측할 수 있는가?
• RQ2 관련성 평가의 누락 정도가 증가함에 따라 LLM 기반 평가 예측 성능는 어떻게 변하는가?
• RQ3 소수의 예시를 포함한 프롬프팅이 영감 없는 프롬프팅보다 인간 평가와의 상관관계와 안정성 측면에서 뛰어나지 않는가?
• RQ4 LLM은 데이터 泄露 없이도 새로운 데이터셋에 일반화될 수 있는가? 이는 신뢰할 수 있는 평가를 보장하는가?
• RQ5 LLM를 활용한 평가 방법은 평가되지 않은 문서를 비관련으로 간주하는 기준 방법보다 어떻게 다를까?

주요 결과

• 기준 평가의 10%만 유지된 상태에서 Vicuña-7B는 TREC DL 2019에서 기준 평가와 Kendall τ 0.862를 기록했고, GPT-3.5 Turbo는 0.927를 달성했다.
• LLM 기반 방법은 모든 '홀'을 비관련으로 처리하는 기준 방법(τ = 0.624)보다 유의미하게 뛰어나며, 평균적으로 25–30% 높은 상관관계를 보였다.
• 소수의 예시를 포함한 프롬프팅은 영감 없는 프롬프팅보다 더 안정적이고 높은 상관관계를 보였으며, 시험 간 변동성이 낮았다.
• LLM를 활용한 평가 프레임워크는 새로운 데이터에서도 강력한 성능을 유지했으며, TREC DL 2023에서 BM25 성능을 LLM 기반 qrels로 평가한 결과, GPT-3.5 Turbo를 사용해 nDCG@10 0.2721을 기록했고, 이는 기준값 0.2627에 매우 가까운 성능이었다.
• 모든 세 개의 TREC DL 트랙에서 극도로 높은 '홀' 조건(90% 누락)에서도 Kendall τ 값이 0.87 이상을 유지하며 강력한 일반화 능력을 보였다.
• 데이터 오염 테스트 결과, LLM이 테스트 데이터를 단순히 암기한 것이 아니라, 훈련 또는 파인튜닝에 사용하지 않은 TREC DL 2023에서도 성능이 우수하게 유지됨을 확인했다.