[論文レビュー] Initial Nugget Evaluation Results for the TREC 2024 RAG Track with the AutoNuggetizer Framework

Ronak Pradeep, Nandan Thakur+4 more|arXiv (Cornell University)|Nov 14, 2024

Geophysics and Gravity Measurements被引用数 6

ひとこと要約

この論文は、TREC 2024 RAG の AutoNuggetizer フレームワークの初期評価を提示し、21 トピックと 45 ランにおいて、完全自動 nugget 評価とほとんど manual nugget 評価との間に強い相関があることを示しています。

ABSTRACT

This report provides an initial look at partial results from the TREC 2024 Retrieval-Augmented Generation (RAG) Track. We have identified RAG evaluation as a barrier to continued progress in information access (and more broadly, natural language processing and artificial intelligence), and it is our hope that we can contribute to tackling the many challenges in this space. The central hypothesis we explore in this work is that the nugget evaluation methodology, originally developed for the TREC Question Answering Track in 2003, provides a solid foundation for evaluating RAG systems. As such, our efforts have focused on "refactoring" this methodology, specifically applying large language models to both automatically create nuggets and to automatically assign nuggets to system answers. We call this the AutoNuggetizer framework. Within the TREC setup, we are able to calibrate our fully automatic process against a manual process whereby nuggets are created by human assessors semi-manually and then assigned manually to system answers. Based on initial results across 21 topics from 45 runs, we observe a strong correlation between scores derived from a fully automatic nugget evaluation and a (mostly) manual nugget evaluation by human assessors. This suggests that our fully automatic evaluation process can be used to guide future iterations of RAG systems.

研究の動機と目的

• RAG トラックにおいて、完全に自動の nugget 評価が manual nugget 評価の代替となり得るかを評価する。
• LLMs を用いて nugget 評価手法をリファクタリングし、RAG に適用する。
• 自動 nugget 作成と割り当てを、半 manual/manual の人間評価と較正する。
• RAG システムの将来の反復を導く実験結果を提供する。

提案手法

• Voorhees (2003) の nugget 評価手法を LLM を用いて RAG に適用するようリファクタリングする。
• 関連文書から nugget を自動生成する（AutoNuggets）GPT-4o を使用。
• システム回答へ nugget を自動割り当てする（AutoAssign）、リストワイズな LLM アプローチを使用。
• NIST 評価者を用いて、完全自動 Nugget Evaluation を（主に） manual な人間評価と比較する。
• 自動評価と manual 評価の相関を評価するため、21 トピック、45 ランで評価する。

実験結果

リサーチクエスチョン

• RQ1 完全自動の nugget 評価は、人間の評価者による manual nugget 評価と整合するか。
• RQ2 AutoNuggetizer は、将来の RAG システムの反復を導く信頼できる自動評価を提供できるか。
• RQ3 自動 Nugget Creation および Assignment のバリアントは、半 manual 的なアプローチと比較してどのように機能するか。

主な発見

• 初期結果は、完全自動 nugget 評価のスコアと、（主に）人間の評価者による manual nugget 評価との間に強い相関があることを示している。
• 本研究は、自動評価アプローチについて結論を導くために、21 トピックを 45 ラン分析している。
• AutoNuggetizer フレームワークは、LLMs を活用して nugget を作成しそれらをシステム回答に割り当てることで、エンドツーエンドの自動評価フローを実現している。
• 較正は、TREC 設定内で自動 nugget 作成/割り当てを半 manual/manual プロセスと比較することによって行われる。