[論文レビュー] A Survey on Retrieval-Augmented Text Generation for Large Language Models

Yizheng Huang, Jimmy Xiangji Huang|arXiv (Cornell University)|Apr 17, 2024

Topic Modeling被引用数 19

ひとこと要約

この調査は Retrieval-Augmented Generation (RAG) for LLMs を 4つのフェーズ—pre-retrieval、retrieval、post-retrieval、generation—に整理し、テキストデータアプリケーションにおけるコア技術、進化、評価、および今後の方向性を概観します。

ABSTRACT

Retrieval-Augmented Generation (RAG) merges retrieval methods with deep learning advancements to address the static limitations of large language models (LLMs) by enabling the dynamic integration of up-to-date external information. This methodology, focusing primarily on the text domain, provides a cost-effective solution to the generation of plausible but possibly incorrect responses by LLMs, thereby enhancing the accuracy and reliability of their outputs through the use of real-world data. As RAG grows in complexity and incorporates multiple concepts that can influence its performance, this paper organizes the RAG paradigm into four categories: pre-retrieval, retrieval, post-retrieval, and generation, offering a detailed perspective from the retrieval viewpoint. It outlines RAG's evolution and discusses the field's progression through the analysis of significant studies. Additionally, the paper introduces evaluation methods for RAG, addressing the challenges faced and proposing future research directions. By offering an organized framework and categorization, the study aims to consolidate existing research on RAG, clarify its technological underpinnings, and highlight its potential to broaden the adaptability and applications of LLMs.

研究の動機と目的

• RAGとその4段階のワークフロー（pre-retrieval、retrieval、post-retrieval、generation）を理解するための構造化されたフレームワークを提供する。
• 用語を明確にし、主要研究全体の手法を分類して分野の混乱を減らす。
• 検索と生成のコア技術とその強みを分析し、LLM の信頼性と最新性を向上させる。
• テキストベースの RAG における評価手法を要約し、課題と今後の研究方向を示す。

提案手法

• pre-retrieval、retrieval、post-retrieval、generation の4段階のワークフローを備えた統一的な RAG フレームワークを提示する。
• RAG 研究全体で用いられるインデックス作成、取得、再ランク付け、フィルタリング、生成技術を調査する。
• 事前取得の構成要素として、インデックス作成とクエリ操作を含む。semantic indexing（例：kNN-LMs、FAISS）やクエリの再構成を含む。
• 取得手法には検索とランク付け、マルチホップ対シングルホップ、再ランク付け戦略を含む取得手法を説明する。
• 取得後の手順として、生成のための文書選択を改善するための再ランク付けやフィルタリングを概説する。
• 取得済みのコンテンツを出力に強化・カスタマイズ・統合する生成戦略を要約する。

実験結果

リサーチクエスチョン

• RQ1 LLMsの Retrieval-Augmented Generation (RAG) の主なフェーズとコア技術は何か？
• RQ2 主要な RAG 研究を横断して、インデックス作成、取得、取得後の処理、生成手法はどのように進化してきたか？
• RQ3 RAGシステムを評価するためにどのような評価手法が用いられており、どんな課題が残っているか？
• RQ4 RAG研究の今後の方向性とマルチモーダル拡張が提案されている。

主な発見

• RAG フレームワークは pre-retrieval、retrieval、post-retrieval、generation の4つのフェーズに整理され、シングルホップとマルチホップの取得ワークフローの両方を含む。
• インデックス作成のコア技術には、セマンティックベクトル表現と FAISS ベースのツールが含まれ、大規模コーパスからの効率的な取得を可能にする。
• 取得は検索とランク付けを用い、多様なバックボーン（BM25、DPR、クロスアテンションベースのモデルなど）を含み、再ランク付けとフィルタリングで補完される。
• 生成は retrieved evidence をクエリと組み合わせ、関連性、忠実度、ユーザー適合性を向上させるための強化・カスタマイズステップを用いる。
• 最新情報へのアクセスの課題やタスク特異的なカスタマイズを含む、幅広い評価手法と今後の研究方向が特定される。
• 多数の研究（例：REALM、kNN-LMs、RAG、FiD、WebGPT、RETRO）が、retriever/generator の組み合わせと能力とともに整理されている。）