[論文レビュー] CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

Yuanjie Lyu, Zhiyu Li+8 more|arXiv (Cornell University)|Jan 30, 2024

Topic Modeling被引用数 7

ひとこと要約

CRUD-RAGは、ニュースベースの大規模なデータセットを用いて、作成(Create)、読取(Read)、更新(Update)、削除(Delete)のタスクを横断してRAGシステムを評価する包括的な中国語ベンチマークを導入し、全てのRAGコンポーネント（リトリーバ、KB、LLM）をエンドツーエンドで評価します。

ABSTRACT

Retrieval-Augmented Generation (RAG) is a technique that enhances the capabilities of large language models (LLMs) by incorporating external knowledge sources. This method addresses common LLM limitations, including outdated information and the tendency to produce inaccurate "hallucinated" content. However, the evaluation of RAG systems is challenging, as existing benchmarks are limited in scope and diversity. Most of the current benchmarks predominantly assess question-answering applications, overlooking the broader spectrum of situations where RAG could prove advantageous. Moreover, they only evaluate the performance of the LLM component of the RAG pipeline in the experiments, and neglect the influence of the retrieval component and the external knowledge database. To address these issues, this paper constructs a large-scale and more comprehensive benchmark, and evaluates all the components of RAG systems in various RAG application scenarios. Specifically, we have categorized the range of RAG applications into four distinct types-Create, Read, Update, and Delete (CRUD), each representing a unique use case. "Create" refers to scenarios requiring the generation of original, varied content. "Read" involves responding to intricate questions in knowledge-intensive situations. "Update" focuses on revising and rectifying inaccuracies or inconsistencies in pre-existing texts. "Delete" pertains to the task of summarizing extensive texts into more concise forms. For each of these CRUD categories, we have developed comprehensive datasets to evaluate the performance of RAG systems. We also analyze the effects of various components of the RAG system, such as the retriever, the context length, the knowledge base construction, and the LLM. Finally, we provide useful insights for optimizing the RAG technology for different scenarios.

研究の動機と目的

• 質問応答を超える多様なCRUD適用シナリオを網羅することで、包括的なRAGベンチマークの不足を解消する。
• リトリーバの品質、知識ベースの構築、LLMの挙動を含むエンドツーエンドのRAGシステム性能を評価する。
• CRUDタスク全体でコンテキスト長、チャンクサイズ、埋め込みモデル、検索戦略の体系的分析を可能にするデータセットとプロトコルを提供する。
• 中国語設定のさまざまなアプリケーション文脈に合わせてRAGシステムを最適化する実践的な指針を提供する。

提案手法

• RAGアプリケーションをCreate、Read、Update、Delete の4つのCRUDカテゴリに分類する。
• 2023年7月以降に公表された大規模な中国語ニュースコーパスから4つのタスクデータセットを構築し、データがLLMsにとって未知であることを保証する。
• end-to-endの回答類似度とRAG固有の考慮事項を組み合わせた評価指標をRAGQuestEvalを用いて提案する。
• 実験でコンテキスト長、チャンクサイズ、埋め込みモデル、検索戦略、LLMなどのRAGコンポーネントを体系的に変化させ、検討する。
• テキスト継続、マルチドキュメント要約、単一・複数ドキュメントQA、および幻覚修正のデータセット構築パイプラインを説明する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなCRUDシナリオは、中国語の Retrieval-Augmented Generation システムの全体的な有効性にどのような影響を与えるか？
• RQ2 検索関連要因（コンテキスト長、チャンクサイズ、top-k、埋め込みモデル）がCRUDタスク全体のRAG性能に与える影響はどのようなものか？
• RQ3 創造的生成、読解、誤り訂正、要約タスクにおける知識ベース構築の選択がRAGの結果にどのように影響するか？
• RQ4 CRUD-RAGのようなエンドツーエンド評価フレームワークは、多様なタスクの中でリトリーバ、知識ベース、LLMの相互作用を信頼性高く評価できるか？
• RQ5 現実世界の中国語アプリケーションでRAGシステムを最適化する際に、どのような実用的なガイドラインが浮かび上がるか？

主な発見

• 包括的なCRUDベースのベンチマークは、創造的生成、知識集約型QA、誤り訂正、要約タスクにおけるRAGの性能を明らかにする。
• このベンチマークは、コンテキスト長と検索戦略がタスクを横断してRAGの結果に及ぼす影響を示している。
• 高品質なニュースベースの検索コーパスは、外部コンテンツの使用を確保し、モデルの記憶済み知識を使わないことで評価の妥当性を向上させる。
• RAGQuestEval に基づくリコールと適合率は、適切な場合に生成を真実の参照に基づかせる指標を提供する。
• 研究は、異なるCRUDユースケースに対してリトリーバ、KB構築、LLMを調整する実用的な推奨を提供する。