[논문 리뷰] Initial Nugget Evaluation Results for the TREC 2024 RAG Track with the AutoNuggetizer Framework

Ronak Pradeep, Nandan Thakur외 4명|arXiv (Cornell University)|2024. 11. 14.

Geophysics and Gravity Measurements인용 수 6

한 줄 요약

논문은 AutoNuggetizer 프레임워크의 TREC 2024 RAG에 대한 초기 평가를 제시하며, 21개 주제와 45번 실행에 걸쳐 자동 Nugget 평가와 대부분 수동 Nugget 평가 간의 강한 상관관계를 보여준다.

ABSTRACT

This report provides an initial look at partial results from the TREC 2024 Retrieval-Augmented Generation (RAG) Track. We have identified RAG evaluation as a barrier to continued progress in information access (and more broadly, natural language processing and artificial intelligence), and it is our hope that we can contribute to tackling the many challenges in this space. The central hypothesis we explore in this work is that the nugget evaluation methodology, originally developed for the TREC Question Answering Track in 2003, provides a solid foundation for evaluating RAG systems. As such, our efforts have focused on "refactoring" this methodology, specifically applying large language models to both automatically create nuggets and to automatically assign nuggets to system answers. We call this the AutoNuggetizer framework. Within the TREC setup, we are able to calibrate our fully automatic process against a manual process whereby nuggets are created by human assessors semi-manually and then assigned manually to system answers. Based on initial results across 21 topics from 45 runs, we observe a strong correlation between scores derived from a fully automatic nugget evaluation and a (mostly) manual nugget evaluation by human assessors. This suggests that our fully automatic evaluation process can be used to guide future iterations of RAG systems.

연구 동기 및 목표

• RAG 트랙에서 완전 자동 nugget 평가가 수동 nugget 평가를 대체할 수 있는지 평가합니다.
• 대형 언어 모델(LLMs)을 사용하여 Nugget 평가 방법론을 리팩토링하고 RAG에 적용합니다.
• Semi-manual/manual human assessments와 자동 Nugget 생성 및 할당을 보정합니다.
• 미래의 RAG 시스템의 반복을 안내하기 위한 실험 결과를 제공합니다.

제안 방법

• Voorhees(2003)로부터 Nugget 평가 방법론을 RAG에 맞게 LLMs를 사용하여 리팩토링합니다.
• GPT-4o를 사용하여 관련 문서에서 Nugget을 자동으로 생성합니다(AutoNuggets).
• 목록 기반 LLM 접근 방식을 사용하여 Nugget을 시스템 답변에 자동으로 할당하는 AutoAssign.
• NIST 평가자를 사용한 (대부분) 수동 인간 평가에 비해 완전히 자동 Nugget Evaluation을 비교합니다.
• 자동 및 수동 평가 간의 상관관계를 평가하기 위해 21개 주제와 45번 실행에서 평가합니다.

실험 결과

연구 질문

• RQ1 완전 자동 Nugget 평가가 인간 평가자가 평가한 수동 Nugget 평가와 일치합니까?
• RQ2 AutoNuggetizer가 향후 RAG 시스템 반복을 안내할 신뢰할 수 있는 자동 평가를 제공할 수 있습니까?
• RQ3 자동 Nugget 생성 및 할당 변형은 반수동 접근 방식에 비해 어떻게 성능합니까?

주요 결과

• 완전 자동 Nugget 평가의 점수와 인간 평가자에 의해 수행된 (대부분) 수동 Nugget 평가 간에 강한 상관관계가 초기 결과로 나타났습니다.
• 이 연구는 21개 주제를 45번의 실행에 걸쳐 분석하여 자동 평가 접근 방식에 대한 결론을 도출합니다.
• AutoNuggetizer 프레임워크는 LLM을 활용하여 Nugget을 생성하고 이를 시스템 답변에 할당함으로써 엔드투엔드 자동 평가 흐름을 가능하게 합니다.
• 보정은 TREC 설정 내에서 자동 Nugget 생성/할당과 반수동/수동 프로세스를 비교함으로써 수행됩니다.