[論文レビュー] Retrieval-Augmented Generation for Natural Language Processing: A Survey

Shangyu Wu, Ying Xiong+9 more|arXiv (Cornell University)|Jul 18, 2024

Topic Modeling被引用数 13

ひとこと要約

NLP向けの Retriever-augmented generation (RAG) の網羅的な調査で、リトリーバー、統合戦略、訓練法、生成器、応用、将来の課題を詳述し、代表的な手法の tutorial コードを提供。

ABSTRACT

Large language models (LLMs) have demonstrated great success in various fields, benefiting from their huge amount of parameters that store knowledge. However, LLMs still suffer from several key issues, such as hallucination problems, knowledge update issues, and lacking domain-specific expertise. The appearance of retrieval-augmented generation (RAG), which leverages an external knowledge database to augment LLMs, makes up those drawbacks of LLMs. This paper reviews all significant techniques of RAG, especially in the retriever and the retrieval fusions. Besides, tutorial codes are provided for implementing the representative techniques in RAG. This paper further discusses the RAG update, including RAG with/without knowledge update. Then, we introduce RAG evaluation and benchmarking, as well as the application of RAG in representative NLP tasks and industrial scenarios. Finally, this paper discusses RAG's future directions and challenges for promoting this field's development.

研究の動機と目的

• 外部知識ストアを使用してLLMの幻覚と知識更新問題を緩和する動機を説明する。
• リトリーバー、データストア設計、統合方法を含む RAG コンポーネントを体系的にレビューする。
• データストア更新の有無にかかわらず RAG の訓練戦略を提示する。
• RAG の NLP タスクおよび産業シナリオへの応用を調査する。
• RAG の研究と実践を進展させる将来の方向性と課題を特定する。

提案手法

• リトリーバー、ジェネレーター、及び検索統合（クエリベース、潜在、ロジットベース）の RAG アーキテクチャを説明する。
• コーパスのチャンク化、チャンクのエンコード、ベクトルインデックスとデータストアの構築など、リトリーバーの構築を詳述する。
• 検索統合技術を分類・解説する：クエリベース（テキスト/特徴量の連結）、ロジットベース（アンサンブル、キャリブレーション）、潜在（注意機構、加重和。）
• 生成器のタイプと、検索拡張がどのように組み込まれるかを概説する。
• データストアの更新の有無にかかわらずの RAG 訓練アプローチとその影響を論じる。

Figure 1. The overview of retrieval-augmented generation for natural language processing.

実験結果

リサーチクエスチョン

• RQ1 NLP における検索拡張生成の主要な構成要素と設計選択は何か。
• RQ2 異なるリトリーバーアーキテクチャ、インデックス戦略、統合方法が RAG の性能にどう影響するか。
• RQ3 データストア更新の有無にかかわらず、RAG の効果的な訓練戦略は何か。
• RQ4 RAG をさまざまな NLP タスクや現実の産業シナリオにどう適用できるか。
• RQ5 RAG を前進させるために最も影響力のある将来の方向性と課題は何か。

主な発見

• RAG はリトリーバー、統合、生成器を組み合わせることで幻覚を軽減し、最新の領域知識を提供する。
• リトリーバーはチャンク化、エンコード、ANNインデックス作成を用いて取り出し用のスケーラブルなデータストアを構築する。
• 統合はクエリベース、ロジットベース、潜在の3つに分類され、テキスト/特徴量、アンサンブル、キャリブレーション、注意機構を用いる。
• RAG の訓練はデータストア更新の有無にかかわらず実施でき、各々が異なる利点を提供する。
• 本調査は代表的な NLP タスクや産業界の文脈での応用を論じ、将来の方向性と課題を強調している。

Figure 2. Two stages of using the retriever.