[論文レビュー] RAGProbe: An Automated Approach for Evaluating RAG Applications

Shangeetha Sivasothy, Scott Barnett+3 more|arXiv (Cornell University)|Sep 24, 2024

Cardiovascular Function and Risk FactorsMedicine被引用数 3

ひとこと要約

RAGProbeは、リtrieval-Augmented Generation（RAG）パイプラインを評価するための、多様でシナリオベースの質問・回答ペアを自動生成するフレームワークである。6つの評価シナリオを導入し、複雑なクエリパターンに注目することで、特に複数の質問や複数ドキュメントを含むクエリにおける深刻な失敗要因を特定し、最先端の手法と比較して平均で51%高い失敗率を達成した。

ABSTRACT

Retrieval Augmented Generation (RAG) is increasingly being used when building Generative AI applications. Evaluating these applications and RAG pipelines is mostly done manually, via a trial and error process. Automating evaluation of RAG pipelines requires overcoming challenges such as context misunderstanding, wrong format, incorrect specificity, and missing content. Prior works therefore focused on improving evaluation metrics as well as enhancing components within the pipeline using available question and answer datasets. However, they have not focused on 1) providing a schema for capturing different types of question-answer pairs or 2) creating a set of templates for generating question-answer pairs that can support automation of RAG pipeline evaluation. In this paper, we present a technique for generating variations in question-answer pairs to trigger failures in RAG pipelines. We validate 5 open-source RAG pipelines using 3 datasets. Our approach revealed the highest failure rates when prompts combine multiple questions: 91% for questions when spanning multiple documents and 78% for questions from a single document; indicating a need for developers to prioritise handling these combined questions. 60% failure rate was observed in academic domain dataset and 53% and 62% failure rates were observed in open-domain datasets. Our automated approach outperforms the existing state-of-the-art methods, by increasing the failure rate by 51% on average per dataset. Our work presents an automated approach for continuously monitoring the health of RAG pipelines, which can be integrated into existing CI/CD pipelines, allowing for improved quality.

研究の動機と目的

• 現在、手動による試行錯誤に依存しているため、RAGパイプラインに対する自動的で体系的な評価の欠如に取り組むこと。
• RAGシステムにおける失敗要因（文脈の誤解や不完全な回答など）を露呈する質問・回答ペアの変異を特定・分類すること。
• ドメイン特化型で多様なQAペアを生成するためのスキーマとテンプレートベースのアプローチを開発し、RAGパイプラインをストレステストすること。
• 自動的で繰り返し可能な評価シナリオを提供することで、継続的インテグレーションテストを可能にし、RAGパイプラインの品質を向上させること。
• RAGASなどの既存の評価フレームワークを上回る、より効果的で失敗を誘発するテストケースを生成すること。

提案手法

• 単一および複数ドキュメントクエリ、1つのプロンプト内での複数質問、分布外クエリを含む、多様なQA変異を表す6つの明確な評価シナリオを提案する。
• 実際のテストケースを生成するため、シナリオ固有のプロンプト戦略とドキュメントのサンプリング／チャンク化手法を設計する。
• 一般的なRAGの失敗パターンから導出された構造化されたテンプレートを用い、LLMを活用してドキュメントコーパスに基づく質問・回答ペアを生成する。
• 正しさ、関連性、完全性、一貫性、矛盾の有無といった評価指標を採用し、RAG出力の品質を評価する。
• Qasper、Google NQ、MS Marcoの3つのベンチマークデータセットを用い、Verba、Danswer、Ragflowなど5つのオープンソースRAGパイプラインでRAGProbeを検証する。
• CI/CDワークフローにRAGProbeを統合することで、パイプラインの健全性を継続的に監視する仕組みを自動化する。

Figure 1. RAGProbe: Our automated approach to generate question-answer pairs. Our approach is extensible by adding different evaluation scenarios and different evaluation metrics.

実験結果

リサーチクエスチョン

• RQ1 既存の評価手法と比較して、シナリオベースのQAペアはRAGパイプラインの失敗モードをどの程度効果的に露呈できるか？
• RQ2 特に複数質問や複数ドキュメントクエリを含む質問・回答の変異のうち、どのタイプがRAGパイプラインの失敗を最も頻繁に引き起こすか？
• RQ3 RAGProbeは、RAGASのような最先端の評価フレームワークと比較して、RAGパイプラインの欠陥をどの程度優れて検出できるか？
• RQ4 ドメインの特異性（学術的ドメイン対オープンドメイン）は、自動テスト下でのRAGパイプラインの失敗率にどの程度影響を与えるか？
• RQ5 自動的でテンプレート駆動のQA生成は、既存のデータ生成技術と比較して、より妥当性が高く失敗を誘発するテストケースを生成できるか？

主な発見

• 1つのドキュメント内で複数の質問を含むシナリオで最高の失敗率（91%）が観測され、RAGパイプライン設計における深刻な脆弱性が明らかになった。
• 複数ドキュメントにまたがる複数質問を含むシナリオでは78%の失敗率が発生し、マルチホップ推論や文脈の統合における課題が浮き彫りになった。
• RAGProbeは、RAGASと比較して、データセット全体で平均51%高い失敗率を検出しており、欠陥検出能力の優位性が裏付けられた。
• 学術的ドメインのデータセット（Qasper）では60%の失敗率を示したのに対し、オープンドメインのデータセット（Google NQとMS Marco）ではそれぞれ53%および62%の失敗率を記録した。
• RAGProbeは、データセット全体で90–98%の有効なQAペアを生成したのに対し、RAGASは85–93%にとどまり、より高いデータ品質とテストカバレッジを示した。
• 評価シナリオから、プロンプト設計とドキュメント検索戦略が、特に複雑なクエリパターン下でのパイプラインの頑健性に顕著な影響を与えることが明らかになった。

Figure 2. Total failure rate combining all 5 RAG pipelines. The failure rate is calculated as the number of failures divided by the total number of questions.