[논문 리뷰] Prompt-RAG: Pioneering Vector Embedding-Free Retrieval-Augmented Generation in Niche Domains, Exemplified by Korean Medicine

Bongsu Kang, Jundong Kim외 2명|arXiv (Cornell University)|2024. 01. 20.

Topic Modeling인용 수 10

한 줄 요약

Prompt-RAG를 도입하는 프롬프트 기반 검색-증강 생성 접근 방식으로, 임베딩 벡터 없이 작동하며 전통적인 임베딩 기반 RAG 및 ChatGPT에 비해 Korean Medicine 도메인 QA 작업에서 관련성과 정보성이 더 우수함을 보여준다.

ABSTRACT

We propose a natural language prompt-based retrieval augmented generation (Prompt-RAG), a novel approach to enhance the performance of generative large language models (LLMs) in niche domains. Conventional RAG methods mostly require vector embeddings, yet the suitability of generic LLM-based embedding representations for specialized domains remains uncertain. To explore and exemplify this point, we compared vector embeddings from Korean Medicine (KM) and Conventional Medicine (CM) documents, finding that KM document embeddings correlated more with token overlaps and less with human-assessed document relatedness, in contrast to CM embeddings. Prompt-RAG, distinct from conventional RAG models, operates without the need for embedding vectors. Its performance was assessed through a Question-Answering (QA) chatbot application, where responses were evaluated for relevance, readability, and informativeness. The results showed that Prompt-RAG outperformed existing models, including ChatGPT and conventional vector embedding-based RAGs, in terms of relevance and informativeness. Despite challenges like content structuring and response latency, the advancements in LLMs are expected to encourage the use of Prompt-RAG, making it a promising tool for other domains in need of RAG methods.

연구 동기 및 목표

• 벡터 임베딩에 의존하지 않고도 특화 도메인에서 효과적인 RAG의 필요성을 동기 부여합니다.
• 도메인 특화 QA에서 임베딩-프리 프롬프트 기반 검색이 기존의 임베딩 기반 RAG를 능가할 수 있는지 조사합니다.
• 관련성, 가독성, 정보성을 평가하기 위해 QA 챗봇에서 Prompt-RAG를 평가합니다.
• 콘텐츠 구성 및 응답 지연 등의 한계를 검토하고 다른 특수 도메인에의 광범위한 적용 가능성을 논의합니다.]
• method:[
• 자연어 프롬프트 기반 검색-증강 생성(Prompt-RAG) 프레임워크를 제안합니다.
• KM (Korean Medicine) 문서 임베딩을 일반 CM (Conventional Medicine) 임베딩과 비교하여 토큰 중복 및 인간 판단과의 상관관계를 분석합니다.
• 관련성, 가독성, 정보성을 측정하는 QA 챗봇 애플리케이션을 통해 Prompt-RAG를 평가합니다.
• ChatGPT 및 벡터 임베딩 기반 RAG 시스템을 포함한 기존 모델과의 성능을 평가합니다.
• 콘텐츠 구성 및 응답 지연과 같은 실용적 도전에 대해 논의하면서 다른 도메인에 대한 잠재적 이점을 강조합니다.]
• research_questions:[
• 도메인 특화 QA에서 임베딩-프리 RAG 접근이 전통적 벡터 임베딩 RAG를 능가할 수 있는가?
• 도메인 특화 문서(KM)에서의 임베딩이 토큰 중복 및 인간 판단 관련성에 대해 기존의 CM 임베딩과 다른 상관관계를 보이는가?
• Prompt-RAG가 ChatGPT 및 임베딩 기반 RAG에 비해 관련성, 가독성, 정보성 면에서 어떻게 수행되는가?
• 임베딩-프리 RAG의 실제 배포에 영향을 미치는 콘텐츠 구성, 지연 등과 같은 실용적 도전 과제는 무엇인가?

실험 결과

연구 질문

• RQ1 Can a prompt-based, embedding-free RAG approach surpass traditional vector-embedding RAG in niche-domain QA tasks?
• RQ2 Do embeddings from niche-domain documents (Korean Medicine) correlate with token overlap and human-judged relatedness differently than embeddings from conventional medicine?
• RQ3 How does Prompt-RAG perform in terms of relevance, readability, and informativeness compared to ChatGPT and embedding-based RAG?
• RQ4 What practical challenges (e.g., content structuring, latency) affect the deployment of embedding-free RAG in real-world QA systems?

주요 결과

• Prompt-RAG outperforms existing models in relevance and informativeness in a QA chatbot setting.
• KM document embeddings correlate more with token overlaps and less with human-assessed relatedness than CM embeddings.
• The embedding-free approach offers advantages over conventional vector embedding-based RAG in niche domains.
• Content structuring and response latency remain practical challenges for prompting-based retrieval in generation tasks.
• The study suggests broader applicability of Prompt-RAG to other domains needing RAG methods.