[논문 리뷰] UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems

Hongru Wang, Wenyu Huang외 7명|arXiv (Cornell University)|2024. 01. 24.

Topic Modeling인용 수 8

한 줄 요약

UniMS-RAG는 지식 원천 계획, 검색 및 응답 생성을 단일 Seq2Seq 프레임워크로 통합하고, 멀티 소스 개인화를 관리하기 위해 acting 및 evaluation 토큰을 사용하며, 응답을 개선하기 위한 자기-개선 루프를 도입한다.

ABSTRACT

Large Language Models (LLMs) has shown exceptional capabilities in many natual language understanding and generation tasks. However, the personalization issue still remains a much-coveted property, especially when it comes to the multiple sources involved in the dialogue system. To better plan and incorporate the use of multiple sources in generating personalized response, we firstly decompose it into three sub-tasks: Knowledge Source Selection, Knowledge Retrieval, and Response Generation. We then propose a novel Unified Multi-Source Retrieval-Augmented Generation system (UniMS-RAG) Specifically, we unify these three sub-tasks with different formulations into the same sequence-to-sequence paradigm during the training, to adaptively retrieve evidences and evaluate the relevance on-demand using special tokens, called acting tokens and evaluation tokens. Enabling language models to generate acting tokens facilitates interaction with various knowledge sources, allowing them to adapt their behavior to diverse task requirements. Meanwhile, evaluation tokens gauge the relevance score between the dialogue context and the retrieved evidence. In addition, we carefully design a self-refinement mechanism to iteratively refine the generated response considering 1) the consistency scores between the generated response and retrieved evidence; and 2) the relevance scores. Experiments on two personalized datasets (DuLeMon and KBP) show that UniMS-RAG achieves state-of-the-art performance on the knowledge source selection and response generation task with itself as a retriever in a unified manner. Extensive analyses and discussions are provided for shedding some new perspectives for personalized dialogue systems.

연구 동기 및 목표

• 개인화된 지식 기반 대화를 세 가지 서브 태스크로 분해한다: 지식 원천 선택, 지식 검색, 그리고 응답 생성.
• 이 서브 태스크들을 단일 시퀀스-투-시퀀스 모델 내에서 통합하여 Planner, Retriever, Reader 역할을 가능하게 한다.
• 특별한 acting 토큰과 evaluation 토큰을 통해 온-디맨드 관련성 평가 및 다중 지식 원천과의 적응형 상호 작용을 가능하게 한다.
• 증거의 일관성과 맥락 적합성을 고려하여 생성된 응답을 반복적으로 개선하는 자기 개선 메커니즘을 도입한다.

제안 방법

• acting 토큰과 evaluation 토큰을 사용하여 지식 원천 선택, 검색, 생성을 토큰 예측 태스크로 통합된 Seq2Seq 모델로 형식화한다.
• 소스 결정 및 증거 관련성을 나타내는 특별 토큰을 도입하여 모델이 소스 사용을 계획하고 의존성 인식 순서로 검색하도록 한다.
• 세 가지 목표로 학습한다: 계획 손실(planning loss), 관련성 예측 손실(relevance-prediction loss), 응답 생성 손실(respons e generation loss).
• 연관 신호를 위한 이중 경로를 사용하여 검색기(DPR)를 미세 조정하거나 LLM에 유사도 점수를 제공하도록 프롬프트한 후, UniMS-RAG가 이러한 신호를 예측하도록 학습한다.
• 추론 시 업데이트된 증거와 결합된 일관성-관련성 점수를 바탕으로 응답을 재생성하는 자기 개선 루프를 적용한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 외부 소스를 사용할지 여부와 어떤 소스를 호출할지 결정하는 플래너로 기능할 수 있는가?
• RQ2 대형 언어 모델이 다중 소스로부터 고도로 관련된 증거를 얻는 검색기로 기능할 수 있는가?
• RQ3 대형 언어 모델이 검색된 증거를 최종 응답에 반영하는 리더로 기능할 수 있는가?
• RQ4 통합된 UniMS-RAG 프레임워크가 개인화 대화에서 지식 원천 선택과 응답 생성을 개선하는가?

주요 결과

• UniMS-RAG는 개인화된 대화 벤치마크에서 자체를 검색기로 사용했을 때 지식 원천 선택 및 응답 생성에서 최첨단 성능을 달성한다.
• 이 프레임워크는 독립적인 소스와 상호 의존적 소스를 모두 지원하며, 서로 다른 소스 관계에 적응할 수 있다.
• 추론 중 자기 개선은 증거의 일관성과 맥락 적합성을 재평가하여 응답의 근거를 개선한다.
• 이 접근 방식은 DuLeMon 및 KBP의 두 개의 개인화 데이터 세트에서 강건성을 보이며 광범위한 분석과 인간 평가를 통해 검증되었다.