[論文レビュー] Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems

Yunxiao Shi, Xing Zi+4 more|arXiv (Cornell University)|Jul 15, 2024

AI-based Problem Solving and Planning被引用数 4

ひとこと要約

本論文は、Retrieval-Augmented Generation (RAG) システムにおける検索品質とシステム効率を向上させるために、Query Rewriter+、Knowledge Filter、Memory Knowledge Reservoir、Retrieval Trigger の4モジュールの連携を提案する。複数の意図を明確にしたクエリの生成、不要な知識のフィルタリング、履歴結果のキャッシュ、動的な検索トリガーの導入により、6つのQAベンチマークにおいて事実の正確性が向上し、重複計算が削減される。

ABSTRACT

Retrieval-augmented generation (RAG) techniques leverage the in-context learning capabilities of large language models (LLMs) to produce more accurate and relevant responses. Originating from the simple 'retrieve-then-read' approach, the RAG framework has evolved into a highly flexible and modular paradigm. A critical component, the Query Rewriter module, enhances knowledge retrieval by generating a search-friendly query. This method aligns input questions more closely with the knowledge base. Our research identifies opportunities to enhance the Query Rewriter module to Query Rewriter+ by generating multiple queries to overcome the Information Plateaus associated with a single query and by rewriting questions to eliminate Ambiguity, thereby clarifying the underlying intent. We also find that current RAG systems exhibit issues with Irrelevant Knowledge; to overcome this, we propose the Knowledge Filter. These two modules are both based on the instruction-tuned Gemma-2B model, which together enhance response quality. The final identified issue is Redundant Retrieval; we introduce the Memory Knowledge Reservoir and the Retriever Trigger to solve this. The former supports the dynamic expansion of the RAG system's knowledge base in a parameter-free manner, while the latter optimizes the cost for accessing external knowledge, thereby improving resource utilization and response efficiency. These four RAG modules synergistically improve the response quality and efficiency of the RAG system. The effectiveness of these modules has been validated through experiments and ablation studies across six common QA datasets. The source code can be accessed at https://github.com/Ancientshi/ERM4.

研究の動機と目的

• RAGシステムにおける単一クエリ検索の限界、すなわち情報の飽和と意図の不一致を是正する。
• 外部ソースから取得した不要な知識をフィルタリングすることで、応答のノイズを低減し、事実の正確性を向上させる。
• 頻繁にアクセスされる知識をキャッシュし、外部データの取得タイミングを動的に管理することで、重複検索を軽減する。
• パラメータフリーのメモリーレセーバーと検索トリガー機構を活用し、システムの効率性とスケーラビリティを向上させる。
• これらのモジュールをモジュラーなRAGパイプラインに統合し、柔軟で高性能なQAシステムを構築する。

提案手法

• 1回の推論ステップで複数の意味的に多様なクエリを生成し、曖昧な入力質問を明確化する、微調整済みのGemna-2Bモデル「Query Rewriter+」を提案する。
• 自然言語推論(NLI)に基づく、Gemma-2Bで微調整済みのKnowledge Filterモジュールを実装し、関連のない取得済みパラグラフを評価・フィルタリングする。
• パラメータフリーのメモリーレセーバーとしての非パrametricなMemory Knowledge Reservoirを導入し、過去に確認済みの質問-回答ペアをキャッシュ・再利用することで、外部検索の重複を回避する。
• 動的閾値を用いて外部知識にアクセスするタイミングを決定するRetrieval Trigger機構を設計し、コストと遅延の最適化を図る。
• 4つのモジュールを統合した包括的なRAGパイプラインを構築し、基本的な「取得→読解」フローを、協調的で段階的なプロセスに置き換える。
• すべてのコンponentsを、収集済みデータセットを用いた教師あり微調整で訓練・評価し、すべてのモデルが指令微調整済みGemma-2Bアーキテクチャに基づく。

実験結果

リサーチクエスチョン

• RQ1 1つの入力質問から複数の多様なクエリを生成することで、RAGシステムにおける検索カバレッジの向上と情報の飽和の低減が顕著に達成できるか？
• RQ2 統合されたクエリ再ライティングおよび明確化モジュールが、ユーザーの質問における意図理解の向上と曖昧さの低減にどの程度寄与するか？
• RQ3 微調整済みNLIベースのKnowledge Filterは、取得済みパラグラフからの不要またはノイズの多いコンテキストを効果的に除去し、応答品質を向上させるか？
• RQ4 パラメータフリーのメモリーレセーバーは、モデルパラメータの増加なしに、重複検索を低減し、応答効率を向上させることができるか？
• RQ5 動的RAGシステムにおいて、正確性と効率性の最適なバランスを実現するための、Retrieval Trigger機構における閾値戦略は何か？

主な発見

• Query Rewriter+モジュールは、意味的に異なる複数のクエリを生成することで、検索品質を顕著に向上させ、関連する答えのキーワードを取得する可能性を高める。
• Knowledge Filterモジュールは、不要な取得済みパラグラフをフィルタリングすることで、応答のノイズを低減し、LLMが生成する回答の事実の正確性と耐障害性を向上させる。
• Memory Knowledge Reservoirは、過去に取得済みの知識をキャッシュ・再利用することで、外部検索の重複を低減し、システムの効率性を向上させる。
• Retrieval Trigger機構は、外部知識へのアクセスタイミングを動的に制御することで、不要な呼び出しを削減し、リソース利用効率を最適化する。
• 6つの一般的なQAデータセットにおけるアブレーションスタディにより、4モジュールを統合した完全なシステムが、ベースラインのRAGパイプラインに比べ、優れた応答品質と効率性を達成することが示された。
• 提案されたフレームワークは、生成プロセスに使用される情報がすべて関連性があり高品質であることを保証することで、事実の一貫性を向上させ、幻覚を低減する。