[論文レビュー] RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation

Dongyu Ru, Lin Qiu+16 more|arXiv (Cornell University)|Aug 15, 2024

Natural Language Processing Techniques被引用数 9

ひとこと要約

RagChecker は、RAG システムにおける検索と生成の両方に対する細粒度の主張レベル評価指標を提供し、ベースラインよりも人間の判断との相関が強いことを示し、十のドメインにわたる八つのRAGシステムを分析する。

ABSTRACT

Despite Retrieval-Augmented Generation (RAG) showing promising capability in leveraging external knowledge, a comprehensive evaluation of RAG systems is still challenging due to the modular nature of RAG, evaluation of long-form responses and reliability of measurements. In this paper, we propose a fine-grained evaluation framework, RAGChecker, that incorporates a suite of diagnostic metrics for both the retrieval and generation modules. Meta evaluation verifies that RAGChecker has significantly better correlations with human judgments than other evaluation metrics. Using RAGChecker, we evaluate 8 RAG systems and conduct an in-depth analysis of their performance, revealing insightful patterns and trade-offs in the design choices of RAG architectures. The metrics of RAGChecker can guide researchers and practitioners in developing more effective RAG systems. This work has been open sourced at https://github.com/amazon-science/RAGChecker.

研究の動機と目的

• モジュール型の retriever および generator コンポーネントを持つ Retrieval-Augmented Generation (RAG) システムの頑健な評価を促進する。
• RagChecker を開発して、検索と生成の両方に対する細粒度・主張レベルの診断指標を提供する。
• RagChecker が人間の判断と既存の指標よりも良い整合を示すメタ評価を実証する。
• 多様で多ドメインのベンチマークに対して、設計上のトレードオフを明らかにするために、8つの最先端RAGシステムを実証的に分析する。

提案手法

• RagChecker を、ベンチマークと細粒度メトリクスを備えたモジュール式 RAG 評価フレームワークとして定義する。
• 応答と正解から主張を抽出して、主張レベルの含意検証を可能にする。
• 全体 metric, retriever-specific, generator-specific を含む、precision, recall, F1, claim recall, context precision, faithfulness, and noise sensitivity を計算する。
• RagChecker 指標と人間の判断との相関を検証するために、人間の判断データセットに注釈を付与する。
• 異なる retriever および generator を用いた8つのRAGシステムを、4,162 件のクエリ、10 ドメインのベンチマークで評価する。
• ベースラインフレームワークに対してメタ評価を実施し、人間の判断との予測的整合性を確立する。

Figure 1 : Illustration of the proposed metrics in RagChecker . The upper Venn diagram depicts the comparison between a model response and the ground truth answer, showing possible correct( ), incorrect( ), and missing claims( ). The retrieved chunks are classified into two categories based on the t

実験結果

リサーチクエスチョン

• RQ1 細粒度の主張レベル指標は、RAG の品質に関する人間の判断とどの程度相関するか。
• RQ2 RagChecker 指標は、検索エラーと生成エラーについてどのような診断信号を提供するか。
• RQ3 検索機能と生成機能の設計選択は、全体の RAG の性能とエラー源にどう影響するか。
• RQ4 RagChecker は検索品質、ノイズ感度、真実性の間のトレードオフを明らかにできるか。

主な発見

• RagChecker は、正確性、完全性、全体評価の点で、ベースライン指標よりも人間の判断との相関が強い。
• より優れた retriever は、生成器をまたいで全体的な性能を一貫して向上させ、検索品質が重要であることを示している。
• 生成機の文脈利用は、設定全体での全体F1性能と密接に結びついている。
• オープンソース生成器は真実性へ向かう傾向があるが、より良い検索でもノイズから正確情報を区別するのに苦労する。
• 取得するコンテキストの量とサイズを増やすと、真実性が向上し幻覚が減少するが、ノイズ感度が上昇する可能性がある。
• このフレームワークは、文脈利用、ノイズ感度、真実性のトレードオフを明らかにし、ターゲットを絞った改善を導く。

Figure 2 : The prompt used for converting short answers to long-form answers for the domains of Novel, Finance, Lifestyle, Recreation, Technology, Science, and Writing.