[論文レビュー] Prompt-RAG: Pioneering Vector Embedding-Free Retrieval-Augmented Generation in Niche Domains, Exemplified by Korean Medicine

Bongsu Kang, Jundong Kim+2 more|arXiv (Cornell University)|Jan 20, 2024

Topic Modeling被引用数 10

ひとこと要約

Prompt-RAGを導入します。埋め込みベクトルを使用せずに動作するプロンプトベースのRAG（retrieval-augmented generation）アプローチで、従来の埋め込みベースRAGおよびChatGPTと比較して韓方医学領域のQAタスクにおける関連性と情報量が優れていることを実証します。

ABSTRACT

We propose a natural language prompt-based retrieval augmented generation (Prompt-RAG), a novel approach to enhance the performance of generative large language models (LLMs) in niche domains. Conventional RAG methods mostly require vector embeddings, yet the suitability of generic LLM-based embedding representations for specialized domains remains uncertain. To explore and exemplify this point, we compared vector embeddings from Korean Medicine (KM) and Conventional Medicine (CM) documents, finding that KM document embeddings correlated more with token overlaps and less with human-assessed document relatedness, in contrast to CM embeddings. Prompt-RAG, distinct from conventional RAG models, operates without the need for embedding vectors. Its performance was assessed through a Question-Answering (QA) chatbot application, where responses were evaluated for relevance, readability, and informativeness. The results showed that Prompt-RAG outperformed existing models, including ChatGPT and conventional vector embedding-based RAGs, in terms of relevance and informativeness. Despite challenges like content structuring and response latency, the advancements in LLMs are expected to encourage the use of Prompt-RAG, making it a promising tool for other domains in need of RAG methods.

研究の動機と目的

• ベクトル埋め込みに依存せず、ニッチな領域で効果的なRAGの必要性を動機づける。
• 埋め込みなしのプロンプトベース検索が、従来の埋め込みベースRAGを領域特定のQAで上回るかを調査する。
• QAチャットボット上でPrompt-RAGを評価し、関連性、可読性、情報量を評価する。
• コンテンツ構造化や応答レイテンシなどの制約を検討し、他のニッチな領域への適用可能性を広く論じる。

提案手法

• 埋め込みベクトルを必要としない自然言語のプロンプトベースの検索拡張生成（Prompt-RAG）フレームワークを提案する。
• KM（韓医学）文書埋込みと従来のCM（伝統医学）埋込みを比較し、トークン重複と人間の判断との相関を分析する。
• 関連性、可読性、情報量を測定するQAチャットボットアプリケーションを通じてPrompt-RAGを評価する。
• ChatGPTやベクトル埋込みベースのRAGシステムを含む既存モデルと比較して性能を評価する。
• コンテンツ構造化と応答レテンシにおける実務的な課題を論じ、他の領域への潜在的な利点を強調する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトベースで埋め込みなしのRAGアプローチは、ニッチ領域のQAタスクで従来のベクトル埋込みRAGを上回ることができるか？
• RQ2 ニッチ領域の文書（韓医学）からの埋込みは、トークン重複と人間が判断した関連性と、従来の医学の埋込みとは異なる相関を示すか？
• RQ3 Prompt-RAGは、関連性、可読性、情報量の点で、ChatGPTおよび埋込みベースRAGと比べてどうか？
• RQ4 実世界のQAシステムで埋め込みなしRAGを展開する際の実務的な課題（例：コンテンツ構造化、レイテンシ）は何か？

主な発見

• Prompt-RAGは、QAチャットボット設定において関連性と情報量の点で既存モデルを上回る。
• KM文書埋込みは、トークン重複にはより相関し、人間が評価した関連性にはCM埋込みよりも低く相関する。
• 埋め込みなしアプローチは、ニッチな領域において従来のベクトル埋込みベースのRAGより利点を提供する。
• コンテンツ構造化と応答レテンシは、生成タスクにおけるプロンプトベース検索の現実的な課題であり続ける。
• 本研究は、RAG手法を必要とする他の領域へのPrompt-RAGのより広い適用性を示唆している。