[논문 리뷰] Query Suggestion for Retrieval-Augmented Generation via Dynamic In-Context Learning

Fabian Spaeh, Tianyi Chen외 2명|arXiv (Cornell University)|2026. 01. 13.

Topic Modeling인용 수 0

한 줄 요약

이 논문은 에이전트형 RAG를 위한 쿼리 제안 연구를 다루며, 템플레이팅과 자기학습을 활용한 동적 소수-shot 학습 접근법을 제시하여 답변 가능하고 의미적으로 유사한 후속 쿼리를 생산하고, 베이스라인을 능가합니다.

ABSTRACT

Retrieval-augmented generation with tool-calling agents (agentic RAG) has become increasingly powerful in understanding, processing, and responding to user queries. However, the scope of the grounding knowledge is limited and asking questions that exceed this scope may lead to issues like hallucination. While guardrail frameworks aim to block out-of-scope questions (Rodriguez et al., 2024), no research has investigated the question of suggesting answerable queries in order to complete the user interaction. In this paper, we initiate the study of query suggestion for agentic RAG. We consider the setting where user questions are not answerable, and the suggested queries should be similar to aid the user interaction. Such scenarios are frequent for tool-calling LLMs as communicating the restrictions of the tools or the underlying datasets to the user is difficult, and adding query suggestions enhances the interaction with the RAG agent. As opposed to traditional settings for query recommendations such as in search engines, ensuring that the suggested queries are answerable is a major challenge due to the RAG's multi-step workflow that demands a nuanced understanding of the RAG as a whole, which the executing LLM lacks. As such, we introduce robust dynamic few-shot learning which retrieves examples from relevant workflows. We show that our system can be self-learned, for instance on prior user queries, and is therefore easily applicable in practice. We evaluate our approach on three benchmark datasets based on two unlabeled question datasets collected from real-world user queries. Experiments on real-world datasets confirm that our method produces more relevant and answerable suggestions, outperforming few-shot and retrieval-only baselines, and thus enable safer, more effective user interaction with agentic RAG.

연구 동기 및 목표

• 에이전트형 Retrieval-Augmented Generation(RAG)에서 도구 호출 에이전트를 포함한 불응답 가능한 사용자 쿼리의 문제 정의.
• 쿼리의 응답 가능성을 실행 가능성(workflow feasibility)으로 뼈대화 매핑하고 실행 가능한 범주로 분류.
• 관련 예시를 검색하고 활용하여 쿼리 제안을 안내하는 동적 소수-shot 학습 프레임워크를 제안.
• 실제 사용자 쿼리에서 자동으로 라벨링하여 수작업 주석 없이도 학습 가능한 자기학습을 가능하게 함.
• 실제 데이터셋에 대한 평가를 통해 실용적 배포 가능성을 보여주고, 베이스라인보다 개선점을 제시하였음을 시연.

제안 방법

• 값을 마스킹하고 워크플로우 구조를 유지하여 실행 가능한 워크플로우에 매핑하기 위한 템플레이팅 쿼리.
• 임베딩 기반 유사도와 로컬 다수결 투표를 사용하여 양질의 양질의 샘플과 부정 샘플의 작고 다양한 세트를 선택하는 강건한 동적 소수-shot 검색.
• 답변 가능한 쿼리 템플릿을 생성한 후 값을 대입하여 구체적이고 답변 가능한 후속 쿼리를 만들어냄.
• 실행 후 쿼리에 대해 RAG 에이전트가 답변 가능 여부를 라벨링하는 자기학습으로, 과거 사용자 쿼리에서의 비지도 적응을 가능하게 함.
• 실제 세계 데이터셋에서 정적 소수-shot 및 검색 전용 베이스라인과의 비교 평가를 통해 답변 가능성과 의미적 유사성을 평가.

실험 결과

연구 질문

• RQ1 원래 쿼리가 답변 불가일 때 에이전트형 RAG를 위한 답변 가능한 의미적으로 유사한 후속 쿼리를 어떻게 생성할 수 있는가?
• RQ2 템플릿 기반 검색으로 동적 소수-shot 학습이 정적 소수-shot 및 검색 전용 베이스라인에 비해 답변 가능성과 유사성을 향상시키는가?
• RQ3 RAG 시스템을 활용하여 학습 데이터를 자동으로 라벨링해 실무적인 비지도 학습을 가능하게 할 수 있는가?
• RQ4 에이전트형 RAG에서 어떤 유형의 답변 가능성 범주가 발생하며 이를 쿼리 제안에 어떻게 감지하고 활용할 수 있는가?

주요 결과

• 동적 소수-shot 학습은 실제 데이터셋 여러 곳에서 더 답변 가능하고 더 유사한 쿼리 제안을 도출함.
• 전송/검색 전용 베이스라인은 유사성은 높일 수 있지만, 환각 및 도구/데이터 제약으로 인해 답변 가능성이 저하될 수 있음.
• 정적 소수-shot 학습은 유사성과 답변 가능성의 균형을 맞추기 어렵고, 동적 검색의 필요성을 부각시킴.
• 자기학습은 과거의 라벨링되지 않은 쿼리로도 실용적 배포를 가능하게 하며 라벨링 필요성을 감소시킴.
• 이 방법은 라벨링되지 않은 학습 데이터로도 세 가지 벤치마크 데이터셋에서 일관되게 베이스라인을 능가함.
• 이 방식은 실행 가능한 워크플로우와의 정렬을 통해 더 안전하고 효과적인 사용자 상호작용에 기여함.