[論文レビュー] Query Suggestion for Retrieval-Augmented Generation via Dynamic In-Context Learning

Fabian Spaeh, Tianyi Chen+2 more|arXiv (Cornell University)|Jan 13, 2026

Topic Modeling被引用数 0

ひとこと要約

要旨：本論文はエージェント型 RAG のクエリ提案を研究し、テンプレート化と自己学習を使って回答可能で意味的に類似した追随クエリを生成する動的少数ショット学習アプローチを提案し、ベースラインを上回る。

ABSTRACT

Retrieval-augmented generation with tool-calling agents (agentic RAG) has become increasingly powerful in understanding, processing, and responding to user queries. However, the scope of the grounding knowledge is limited and asking questions that exceed this scope may lead to issues like hallucination. While guardrail frameworks aim to block out-of-scope questions (Rodriguez et al., 2024), no research has investigated the question of suggesting answerable queries in order to complete the user interaction. In this paper, we initiate the study of query suggestion for agentic RAG. We consider the setting where user questions are not answerable, and the suggested queries should be similar to aid the user interaction. Such scenarios are frequent for tool-calling LLMs as communicating the restrictions of the tools or the underlying datasets to the user is difficult, and adding query suggestions enhances the interaction with the RAG agent. As opposed to traditional settings for query recommendations such as in search engines, ensuring that the suggested queries are answerable is a major challenge due to the RAG's multi-step workflow that demands a nuanced understanding of the RAG as a whole, which the executing LLM lacks. As such, we introduce robust dynamic few-shot learning which retrieves examples from relevant workflows. We show that our system can be self-learned, for instance on prior user queries, and is therefore easily applicable in practice. We evaluate our approach on three benchmark datasets based on two unlabeled question datasets collected from real-world user queries. Experiments on real-world datasets confirm that our method produces more relevant and answerable suggestions, outperforming few-shot and retrieval-only baselines, and thus enable safer, more effective user interaction with agentic RAG.

研究の動機と目的

• ツール呼び出しエージェントを用いたエージェント型 Retrieval-Augmented Generation (RAG) における回答不能なユーザークエリの問題を定義する。
• クエリの回答可能性を実用的なカテゴリに分類し、推奨をワークフローの実現性に基づいて Grounding する。
• 関連する例を取得してクエリ提案を導く動的な少数ショット学習フレームワークを提案する。
• 実際のユーザー問合せから manual annotation なしにトレーニング例を自動でラベリングすることで自己学習を有効化する。
• 実世界のデータセットで評価し、ベースラインを上回る改善を示すことで実用的な展開可能性を実証する。

提案手法

• 値をマスクしワークフローの構造を保持することで実行可能なワークフローへマップするクエリのテンプレート化。
• 埋め込み類似性と局所多数決による回答可能性の高低を使って小さく多様な正例・負例を選択する堅牢な動的少数ショット検索。
• 回答可能なクエリテンプレートの生成と、それに続く値の補完による具体的で回答可能な追随クエリの生成。
• 実行後にRAGエージェントがクエリの回答可能性をラベル付けする自己学習により、過去のユーザー問合せからの教師なし適応を可能にする。
• 現実世界のデータセットで static 少数ショットおよび検索のみのベースラインと比較し、回答可能性と意味的類似性を評価する。

実験結果

リサーチクエスチョン

• RQ1 元のクエリが回答不能な場合、エージェント型RAGにおいて回答可能で意味的に類似した追随クエリをどのように生成できるか？
• RQ2 動的な少数ショット学習とテンプレートベースの検索は、静的少数ショットおよび検索のみのベースラインと比較して回答可能性と類似性を改善するか？
• RQ3 RAG システムを活用してトレーニングデータを自己ラベリングすることで、実用的な教師なし学習を実現できるか？
• RQ4 エージェント型RAGにおける回答可能性のカテゴリは何で、それらを検出し、クエリ提案に活用するにはどうするか？

主な発見

• 動的な少数ショット学習は、複数の実世界データセットでより回答可能で類似したクエリ提案をもたらす。
• 検索のみのベースラインは類似性を高める一方で、幻覚やツール・データの制約により回答可能性を低下させうる。
• 静的な少数ショット学習は類似性と回答可能性のバランスを取りきれず、動的な検索の必要性を浮き彫りにする。
• 自己学習は過去のラベルなし問合せからの実用的なデプロイを可能にし、ラベリングの負担を軽減する。
• 提案手法は、ラベルなしのトレーニングデータを用いた三つのベンチマークデータセットで一貫してベースラインを上回る。
• この手法は実行可能なワークフローとクエリ提案を整合させることで、より安全で効果的なユーザー対話を実現する。