[論文レビュー] SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool

Youyang Ng, Daisuke Miyashita+5 more|arXiv (Cornell University)|Aug 8, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

SimplyRetrieve は、ファインチューニングを必要とせず、大規模言語モデル（LLM）を用いてリトリーブ中心生成（RCG）を実行できる、オープンソースで軽量かつプライバシー保護型のツールです。LLMが文脈を解釈するのを担当し、知識の記憶はリトリーバーが管理することで、RCGは事実の正確性を向上させ、幻覚を低減し、推論を高速化します。ベースラインのLLMと比較して、応答トークンが36%削減され、30%の高速化を達成しており、Rouge-LスコアはROGの0.186からRCGの0.413に上昇しています。

ABSTRACT

Large Language Model (LLM) based Generative AI systems have seen significant progress in recent years. Integrating a knowledge retrieval architecture allows for seamless integration of private data into publicly available Generative AI systems using pre-trained LLM without requiring additional model fine-tuning. Moreover, Retrieval-Centric Generation (RCG) approach, a promising future research direction that explicitly separates roles of LLMs and retrievers in context interpretation and knowledge memorization, potentially leads to more efficient implementation. SimplyRetrieve is an open-source tool with the goal of providing a localized, lightweight, and user-friendly interface to these sophisticated advancements to the machine learning community. SimplyRetrieve features a GUI and API based RCG platform, assisted by a Private Knowledge Base Constructor and a Retrieval Tuning Module. By leveraging these capabilities, users can explore the potential of RCG for improving generative AI performance while maintaining privacy standards. The tool is available at https://github.com/RCGAI/SimplyRetrieve with an MIT license.

研究の動機と目的

• 開発者や研究者にとって使いやすい、ローカルにデプロイ可能なプラットフォームを提供することで、リトリーブ中心生成（RCG）へのアクセスを民主化すること。
• 標準的なLLMが長尾の事実的知識を記憶できないことや幻覚を生じることの課題を、LLMとリトリーバーの役割を明確に分離することで解決すること。
• プライベートな知識ベースとリtrieバルチューニングを用いて、クラウドベースのLLMに依存せずに、プライベートでデバイス上に生成AIシステムをデプロイできること。
• 従来のリtrieval増強生成（RAG）やゼロショットプロンプトと比較して、RCGのパフォーマンス、効率性、解釈可能性の利点を調査すること。
• 制御された、プライバシー保護型の環境でプロンプト工学とリトリーブ最適化を促進することで、より安全で責任あるAIの開発を支援すること。

提案手法

• エンドツーエンドのRCGワークフローを可能にするGUIおよびAPIベースのインターフェースを実装し、モデルのファインチューニングを必要とせず、リtrieブされた知識を通じてLLMとやり取りできるようにすること。
• ドメイン固有の、ローカルに保存された知識リポジトリを構築・管理できる「プライベート知識ベースコンストラクタ」を導入すること。
• リトリーブの質と関連性を最適化するリtrieバルチューニングモジュールを統合し、下流の生成パフォーマンスを向上させること。
• 複数の知識ソースを動的に統合してカバー範囲と正確性を向上させる「知識ベースの混合（MoKB）モード」をサポートすること。
• プロンプトにインジェクションされるリtrieブ知識の割合を制御する「明示的プロンプト重み付け（EPW）」を適用し、50%のEPWが事実の整合性を維持することを示した。
• LLMのバックボーンとしてLlama-2-13B-chatを採用し、自作データセットを用いてRouge-Lスコアと推論時間を評価すること。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットプロンプティングと比較して、リトリーブ中心のアプローチは、LLMによる応答における幻覚を顕著に低減できるか？
• RQ2 RCGは、従来のRAGおよび直接的なLLMプロンプティング（ROG）と比較して、事実の正確性、応答長、推論速度の観点でどのように異なるか？
• RQ3 13BパラメータのLLMは、ファインチューニングなしで、未知の知識に対して正確で事実に基づいた応答を生成できるか、その程度はいかほどか？
• RQ4 明示的プロンプト重み付け（EPW）は、RCGにおけるリトリーブの影響と生成品質のバランスを効果的に制御できるか？
• RQ5 軽量でローカルホスティングされたRCGシステムは、データプライバシーを維持しながら、計算オーバーヘッドを低減しつつ、競争力のあるパフォーマンスを達成できるか？

主な発見

• RCGはRouge-Lスコア0.413を達成し、ベースラインのROG（0.186）とRAG（0.359）を大きく上回り、優れた事実の正確性を示した。
• インジェクションされた知識による長いプロンプトにもかかわらず、RCGはROGと比較して平均応答トークン数を36%削減し、より簡潔で的を射た生成を示した。
• RCGの平均推論時間は11.67秒にまで短縮され、ROGの17.22秒と比較して32%の改善を示し、より長い入力コンテキストにもかかわらず、高い効率性を示した。
• 50%の明示的プロンプト重み付け（RCG-EPW）では、事実の整合性を維持しながら部分的な応答を生成したが、完全性と信頼性のトレードオフが示された。
• RCGアプローチは幻覚を効果的に低減した。ROGはKioxiaの画像分類研究について幻覚的な応答を生成したが、RCGは正しく、高容量ストレージ開発に関するものと正確に帰属づけた。
• 13BパラメータのLLMでさえ、ファインチューニングなしで未知の事実的知識に対して強力なパフォーマンスを示した。これは、プライバシーに配慮した環境での実世界への展開が可能であることを示唆している。