[論文レビュー] Evaluation of Retrieval-Augmented Generation: A Survey

Hao Yu, Aoran Gan+4 more|arXiv (Cornell University)|May 13, 2024

Algorithms and Data Compression被引用数 16

ひとこと要約

この調査は Retrieval-Augmented Generation (RAG) システムの評価方法を分析し、RGAR フレームワークを提案して、 benchmark と datasets における retrieval、generation、および追加の要件を評価する。

ABSTRACT

Retrieval-Augmented Generation (RAG) has recently gained traction in natural language processing. Numerous studies and real-world applications are leveraging its ability to enhance generative models through external information retrieval. Evaluating these RAG systems, however, poses unique challenges due to their hybrid structure and reliance on dynamic knowledge sources. To better understand these challenges, we conduct A Unified Evaluation Process of RAG (Auepora) and aim to provide a comprehensive overview of the evaluation and benchmarks of RAG systems. Specifically, we examine and compare several quantifiable metrics of the Retrieval and Generation components, such as relevance, accuracy, and faithfulness, within the current RAG benchmarks, encompassing the possible output and ground truth pairs. We then analyze the various datasets and metrics, discuss the limitations of current benchmarks, and suggest potential directions to advance the field of RAG benchmarks.

研究の動機と目的

• ハイブリッド RAG システム（retrieval、generation、および全体のシステム）の評価における課題を特定する
• RAG ベンチマーク分析の体系的フレームワークとして RGAR を提案する
• 既存の RAG ベンチマークとデータセットを調査して強み、制約、およびギャップを整理する
• RAG 研究全体で用いられる評価指標と実験設定を議論する
• 将来の、より適応的な RAG 評価手法の方向性を示す

提案手法

• Target、Dataset、Metrics モジュールを備えた RGAR フレームワークを定義し、評価可能な出力を真実データと比較分析する
• Retrieval targets を relevancy および accuracy に分類し、Relevant Documents vs Query and Documents Candidates を用いる
• Generation targets を relevance、faithfulness、and correctness の観点で、queries および ground truth responses に対して分類する
• 12 の RAG 評価フレームワーク、ツール、ベンチマークを調査し、分類する
• 評価データセットとその構築方法を議論する（news、WikiEval、NQ、HotpotQA、FEVER など）
• retrieval と generation の標準および新規指標を概説し、評価者としての LLM の活用を含む

実験結果

リサーチクエスチョン

• RQ1 retrieval、generation、および全体的な性能にわたる RAG システムの評価における核心的な課題は何か？
• RQ2 分析フレームワーク（RGAR）を用いて、targets、datasets、metrics にわたる RAG ベンチマークを体系的に評価するにはどうすればよいか？
• RQ3 実世界の性能評価のための既存の RAG ベンチマークとデータセットの長所と制約は何か？
• RQ4 retrieval の quality と generator fidelity の相互作用を最もよく捉える指標と評価実践は何か？
• RQ5 将来、標準化され適応的でユーザーに合わせた RAG 評価を進展させる方向性は何か？

主な発見

• 本論文は、retrieval、generation、および全体の RAG システムの評価に関する明確な課題を特定する。
• RGAR が、targets、datasets、metrics を網羅する総合的な RAGBenchmark 評価の分析フレームワークとして提案される。
• 既存の12のRAG評価フレームワーク、ベンチマーク、データセットの統合が提供され、長所とギャップを浮き彫りにする。
• 議論された指標と評価実践には、relevance、accuracy、faithfulness、correctness、遅延や多様性などの追加要件が含まれる。
• 従来の accuracy や relevance を超えた、適応的で文脈に応じたベンチマークとより細やかな指標の必要性を強調する。
• 将来の方向性として、リアルタイム情報更新のシミュレーションと RAG 評価へのユーザーフィードバックループの組み込みを含む