[논문 리뷰] UMBRELA: UMbrela is the (Open-Source Reproduction of the) Bing RELevance Assessor

Shivani Upadhyay, Ronak Pradeep외 3명|arXiv (Cornell University)|2024. 06. 10.

Wikis in Education and Collaboration인용 수 11

한 줄 요약

UMBRELA는 GPT-4o를 사용해 Bing 관련성 평가를 재현하는 오픈 소스 도구 키트로, TREC DL Tracks(2019–2023) 전반에서 인간 판단과의 높은 상관관계를 검증하고 검색 평가 파이프라인에 통합을 가능하게 한다.

ABSTRACT

Copious amounts of relevance judgments are necessary for the effective training and accurate evaluation of retrieval systems. Conventionally, these judgments are made by human assessors, rendering this process expensive and laborious. A recent study by Thomas et al. from Microsoft Bing suggested that large language models (LLMs) can accurately perform the relevance assessment task and provide human-quality judgments, but unfortunately their study did not yield any reusable software artifacts. Our work presents UMBRELA (a recursive acronym that stands for UMbrela is the Bing RELevance Assessor), an open-source toolkit that reproduces the results of Thomas et al. using OpenAI's GPT-4o model and adds more nuance to the original paper. Across Deep Learning Tracks from TREC 2019 to 2023, we find that LLM-derived relevance judgments correlate highly with rankings generated by effective multi-stage retrieval systems. Our toolkit is designed to be easily extensible and can be integrated into existing multi-stage retrieval and evaluation pipelines, offering researchers a valuable resource for studying retrieval evaluation methodologies. UMBRELA will be used in the TREC 2024 RAG Track to aid in relevance assessments, and we envision our toolkit becoming a foundation for further innovation in the field. UMBRELA is available at https://github.com/castorini/umbrela.

연구 동기 및 목표

• LLM 기반 관련성 판단이 검색 평가에서 인간의 평가와 일치할 수 있음을 입증한다.
• LLM 기반 관련성 표기에 대해 재현하고 연구할 수 있는 오픈 소스이면서 확장 가능한 도구 키트를 제공한다.
• 여러 TREC DL 트랙에서 LLM 유도 판단과 전통적인 인간 판단 간의 상관관계를 검증한다.

제안 방법

• GPT-4o를 사용하고 zero-shot DNA 프롬프트로 관련성 점수(0–3)를 할당하여 Thomas et al. 2024를 재현한다.
• 질의-패시지 쌍에 대해 Descriptive, Narrative, and Aspects (DNA) 프롬프트 프레임워크를 적용한다.
• TREC DL Track 2019–2023 인간 qrels를 골 라벨로 사용하고 UMBRELA로 재평가한다.
• 일부 트랙에 대해 비정규 중복 패시지를 제외하여 처리한다.
• Cohen’s kappa, Kendall tau, Spearman rho, 및 nDCG@10을 사용하여 인간과 LLM 판단 간의 일치도와 순위 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 다수의 TREC DL 트랙에서 질의가 주어졌을 때 GPT-4o가 패시지에 대한 인간 관련성 판단을 재현할 수 있는가?
• RQ2 LLM 유도 판단이 일치도 및 검색 시스템 순위 측면에서 인간 판단과 상관관계가 있는가?
• RQ3 오픈 소스인 UMBRELA 도구 키트가 검색 평가 파이프라인에 통합되기에 효과적이고 확장 가능한가?

주요 결과

• Cohen’s kappa (four-scale)는 트랙 간에 0.3081에서 0.3730까지로 나타나 인간 판단과의 공정에서 중간 정도의 일치를 시사한다.
• Binary Cohen’s kappa는 트랙 간에 0.4176에서 0.4990까지로 나타나 중간 정도의 일치를 시사한다.
• Kendall tau 및 Spearman rho 상관관계는 인간과 LLM 판단 간에 일관되게 높다(예: tau ~0.87–0.94, rho ~0.97–0.99 트랙 전반).
• LLM 기반 평가가 nDCG@10을 사용한 인간-실제 정답 평가와 비교될 때 순위에서 높은 상관성을 보인다.
• 결과는 이전 연구를 재현하고 확장하여 GPT-4o를 실용적인 관련성 평가자로 검증하고 커뮤니티를 위한 오픈 소스 도구를 제공한다.