[論文レビュー] RAG Does Not Work for Enterprises

Tilmann Bruckhaus|arXiv (Cornell University)|May 31, 2024

Information Retrieval and Search Behavior被引用数 7

ひとこと要約

本論文は、Retrieval-Augmented Generation（RAG）が企業特有の課題に直面していると主張し、セキュアでスケーラブルな展開を改善するための評価フレームワークと方向性を提案する。

ABSTRACT

Retrieval-Augmented Generation (RAG) improves the accuracy and relevance of large language model outputs by incorporating knowledge retrieval. However, implementing RAG in enterprises poses challenges around data security, accuracy, scalability, and integration. This paper explores the unique requirements for enterprise RAG, surveys current approaches and limitations, and discusses potential advances in semantic search, hybrid queries, and optimized retrieval. It proposes an evaluation framework to validate enterprise RAG solutions, including quantitative testing, qualitative analysis, ablation studies, and industry case studies. This framework aims to help demonstrate the ability of purpose-built RAG architectures to deliver accuracy and relevance improvements with enterprise-grade security, compliance and integration. The paper concludes with implications for enterprise deployments, limitations, and future research directions. Close collaboration between researchers and industry partners may accelerate progress in developing and deploying retrieval-augmented generation technology.

研究の動機と目的

• 企業RAG展開の特有の要件を特定する。
• 企業環境における現在のRAGアプローチとその限界を調査する。
• 企業向けの意味検索、ハイブリッドクエリ、最適化された検索の潜在的な進展について論じる。
• セキュリティと統合を考慮した企業RAGソリューションを検証する評価フレームワークを提案する。

提案手法

• 現在の企業RAGアプローチとその制限を調査する。
• 意味検索、ハイブリッドクエリ、および最適化された検索の潜在的な進展について論じる。
• 企業志向の評価フレームワークを提案する。
• 企業グレードのセキュリティ、コンプライアンス、統合の検討事項を強調する。
• 研究者と産業パートナーとの協力を促進して進展を加速させることを提案する。

実験結果

リサーチクエスチョン

• RQ1 企業環境におけるRAGの固有の要件と制約は何か。
• RQ2 現在の企業RAGアプローチと実装の制約は何か。
• RQ3 意味検索、ハイブリッドクエリ、および検索最適化のどの進歩が企業RAGに有益か。
• RQ4 正確性、関連性、セキュリティ、統合の観点から企業RAGソリューションを効果的に評価するにはどうすればよいか。

主な発見

• データセキュリティ、正確性、スケーラビリティ、統合を企業RAGの主要な課題として特定する。
• 企業RAGソリューションを検証する評価フレームワークを提案する。
• 展開上の配慮事項として、企業グレードのセキュリティ、コンプライアンス、統合の必要性を強調する。
• 研究者と産業パートナーの密接な協力がRAGの企業展開の進展を加速することを示唆する。