[論文レビュー] RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

Yucheng Hu, Yuxing Lu|arXiv (Cornell University)|Apr 30, 2024

Topic Modeling被引用数 4

ひとこと要約

本サーベイは、自然言語処理（NLP）分野における検索拡張型言語モデル（RALMs）について包括的な概要を提供し、検索拡張型生成（RAG）と検索拡張型理解（RAU）の両方をカバーしている。アーキテクチャ、構成要素、進化の歴史、NLPにおける応用を詳細に解説している。検索品質、計算コスト、耐性の低さといった主な課題を特定し、評価手法の改善や先進的なAI技術との統合といった今後の研究方向性を提案している。

ABSTRACT

Large Language Models (LLMs) have catalyzed significant advancements in Natural Language Processing (NLP), yet they encounter challenges such as hallucination and the need for domain-specific knowledge. To mitigate these, recent methodologies have integrated information retrieved from external resources with LLMs, substantially enhancing their performance across NLP tasks. This survey paper addresses the absence of a comprehensive overview on Retrieval-Augmented Language Models (RALMs), both Retrieval-Augmented Generation (RAG) and Retrieval-Augmented Understanding (RAU), providing an in-depth examination of their paradigm, evolution, taxonomy, and applications. The paper discusses the essential components of RALMs, including Retrievers, Language Models, and Augmentations, and how their interactions lead to diverse model structures and applications. RALMs demonstrate utility in a spectrum of tasks, from translation and dialogue systems to knowledge-intensive applications. The survey includes several evaluation methods of RALMs, emphasizing the importance of robustness, accuracy, and relevance in their assessment. It also acknowledges the limitations of RALMs, particularly in retrieval quality and computational efficiency, offering directions for future research. In conclusion, this survey aims to offer a structured insight into RALMs, their potential, and the avenues for their future development in NLP. The paper is supplemented with a Github Repository containing the surveyed works and resources for further study: https://github.com/2471023025/RALM_Survey.

研究の動機と目的

• 自然言語処理（NLP）における検索拡張型生成（RAG）と検索拡張型理解（RAU）を包括的にカバーする統一的かつ包括的なサーベイが不足しているという問題に対処すること。
• 検索拡張型言語モデル（RALM）の構成要素—検索器（Retrievers）、言語モデル（Language Models）、拡張機構（Augmentations）—の詳細な分類と分析、およびそれらの相互作用を提供すること。
• 翻訳、対話、知識集約的応用を含む多様なNLPタスクにおけるRALMの性能、評価手法、限界を検討すること。
• 幻覚現象、検索品質、計算コスト、モデルの耐性の低さといった主な課題を特定し、今後の研究方向性を提案すること。
• 調査済みの研究とリソースを収集したGitHubリポジトリを提供することで、RALMの採用促進と発展を支援すること。

提案手法

• 本論文は、RALM関連の文献を体系的にサーベイし、RAG（生成中心）とRAU（理解中心）のパラダイムに分類して分析している。
• RALMのコアな構成要素を分析している：検索器（例：BM25、ニューラル検索器）、言語モデル（例：GPT、BERT）、拡張メカニズム（例：プロンプトチューニング、検索拡張型ファインチューニング）。
• 関連性、正確性、耐性を重視した指標を用いてRALMの評価を実施しており、敵対的攻撃に対する耐性をテストするプローブ（例：SAT、ACT）も使用している。
• 内部状態の分析を活用した勾配誘導型プロンプト摂動（GGPP）といった、モデル耐性を向上させるための手法的改善を提案している。
• 導入コストを抑えるための実装戦略として、プラグアンドプレイモジュール（例：CRAG、Selfmem）、インターネットからの検索、イン・コンテキスト学習を推奨している。
• 検索品質、一般化性能、摂動に対する信頼性を評価するための、より洗練された評価フレームワークの必要性を強調している。

実験結果

リサーチクエスチョン

• RQ1 検索拡張型生成（RAG）と検索拡張型理解（RAU）は、NLPタスク全体を通じて、設計や応用においてどのように異なるか？
• RQ2 RALMの主要なアーキテクチャ的構成要素は何か？ それらの相互作用は、モデルの挙動と性能にどのように影響を与えるか？
• RQ3 現在のRALMシステムにおける主な制限要因は何か。特に、検索品質、計算効率、敵対的入力への耐性の低さについて。
• RQ4 RALMの評価手法は、現実世界での性能と信頼性をより的確に反映するために、どのように改善できるか？
• RQ5 RALMのスケーラビリティ、耐性、応用分野の多様性を向上させるための今後の研究方向性は何か？

主な発見

• RALMは、外部知識の統合により、翻訳、対話システム、知識グラフ補完といったNLPタスクで顕著な性能向上を実現している。
• 言語モデルと検索の統合により、幻覚現象が軽減され、特に知識集約的応用において事実の整合性が向上している。
• 耐性は依然として主な課題である。GGPPのような手法は、勾配誘導型プロンプト摂動と内部状態のプローブを活用することで、モデルの耐性を高める有効性を示している。
• 検索品質は極めて重要である。人間の監視によるデータ精錬や、高度な再ランク付け（例：BM25、TF-IDF）の改善により、出力の関連性が向上する。
• 計算コストを抑えるための効果的な展開戦略として、プラグアンドプレイモジュール（例：CRAG、Llama Index）やイン・コンテキスト学習が、性能を損なわずに計算負荷を削減できる。
• RALMの応用範囲は、一般のLLMに比べて依然として限定的である。今後の有望な方向性として、意思決定支援、検索エンジン、レコメンデーションシステムといった分野への展開が挙げられる。