[論文レビュー] ERAGent: Enhancing Retrieval-Augmented Language Models with Improved Accuracy, Efficiency, and Personalization

Yunxiao Shi, Xing Zi+4 more|arXiv (Cornell University)|May 6, 2024

Topic Modeling被引用数 5

ひとこと要約

ERAGent は Enhanced Question Rewriter、Knowledge Filter、Retrieval Trigger、Experiential Learner による Personalization を導入し、RAGベースの QA における検索品質、効率、ユーザー個別対応を向上させる。複数データセットの広範な評価を通じて。

ABSTRACT

Retrieval-augmented generation (RAG) for language models significantly improves language understanding systems. The basic retrieval-then-read pipeline of response generation has evolved into a more extended process due to the integration of various components, sometimes even forming loop structures. Despite its advancements in improving response accuracy, challenges like poor retrieval quality for complex questions that require the search of multifaceted semantic information, inefficiencies in knowledge re-retrieval during long-term serving, and lack of personalized responses persist. Motivated by transcending these limitations, we introduce ERAGent, a cutting-edge framework that embodies an advancement in the RAG area. Our contribution is the introduction of the synergistically operated module: Enhanced Question Rewriter and Knowledge Filter, for better retrieval quality. Retrieval Trigger is incorporated to curtail extraneous external knowledge retrieval without sacrificing response quality. ERAGent also personalizes responses by incorporating a learned user profile. The efficiency and personalization characteristics of ERAGent are supported by the Experiential Learner module which makes the AI assistant being capable of expanding its knowledge and modeling user profile incrementally. Rigorous evaluations across six datasets and three question-answering tasks prove ERAGent's superior accuracy, efficiency, and personalization, emphasizing its potential to advance the RAG field and its applicability in practical systems.

研究の動機と目的

• 標準の RAG の制約を解消すること、特に複雑なクエリの検索品質、長期提供時の再検索の冗長性、個別化の欠如を含む。
• 機構の提案: Enhanced Question Rewriter、Retrieval Trigger、Knowledge Filter、Personalized LLM Reader、Experiential Learner。
• 複数の QA タスクとデータセットにわたる総合的な実験を通じて、精度、効率、個別化の改善を実証。

提案手法

• Enhanced Question Rewriter を導入し、より良い検索のための明確で細かなクエリを生成。
• Retrieval Trigger を実装し、外部知識を取得すべき時を歴史的文脈と知識境界に基づいて判断。
• Knowledge Filter を NLI を用いて、含意ベースの関連知識のみを保持。
• Personalized LLM Reader を用いて、プロンプトにユーザープロファイルを組み込み、個別対応の回答を提供。
• Experiential Learner を活用して Memory Knowledge Database と対話からの動的な User Profile を構築し、効率と個別化を向上。
• ERAGent を 1 ラウンドのオープンドメイン QA、1 ラウンドのマルチホップ QA、そして 6 データセットにわたるマルチセッション・マルチラウンド QA で評価。

実験結果

リサーチクエスチョン

• RQ1 Enhanced Question Rewriter は従来の Question Rewriter より回答精度を向上させるか？
• RQ2 Knowledge Filter は関連しない文脈を効果的にフィルタして回答品質を向上させるか？
• RQ3 マルチセッション設定では、個別化された回答は非個別化のものと比較してどうか？
• RQ4 Experiential Learner は検索効率を品質を損なうことなく向上させるか？

主な発見

手法	データセット	EM	Precision	Recall	Hit Rate
Standard	NQ	38.00	54.21	77.38	55.00
Rewriter	NQ	35.50	55.16	73.48	54.00
Rewriter+	NQ	38.00	57.24	73.93	55.50
Filter	NQ	36.00	53.82	76.89	52.50
Rewriter+Filter	NQ	40.50	56.84	75.50	58.50
Standard	PopQA	29.50	68.43	44.38	35.00
Rewriter	PopQA	30.00	64.46	46.50	35.00
Rewriter+	PopQA	32.00	69.54	47.59	37.50
Filter	PopQA	34.00	70.17	46.17	38.00
Rewriter+Filter	PopQA	36.00	69.13	48.40	40.50
Standard	AmbigNQ	38.00	62.03	64.45	52.00
Rewriter	AmbigNQ	41.00	65.35	63.78	55.50
Rewriter+	AmbigNQ	45.50	67.70	65.84	58.50
Filter	AmbigNQ	39.50	65.18	64.88	55.00
Rewriter+Filter	AmbigNQ	47.00	69.82	67.06	63.50

• Enhanced Question Rewriter と Knowledge Filter の組み合わせ（Rewriter+Filter）は、1 ラウンド QA データセット全体で最高の総合性能を発揮することが多い。
• Enhanced Question Rewriter は基準を一貫して改善し、特に難易度の高いデータセットで顕著。
• Knowledge Filter は PopQA と AmbigNQ で性能を向上させる一方、NQ では厳格な含意基準のため一部低下。
• マルチホップ推論タスクでは、Rewriter+Filter が最も大きな効果を提供し、書き直しとフィルタリングの相乗効果を示す。
• マルチセッション実験では、User Profile とMemory augmentation による個別化が、非個別化ベースラインと比較して回答品質と効率を高める。