[論文レビュー] FACTS About Building Retrieval Augmented Generation-based Chatbots

Rama Akkiraju, Anbang Xu+36 more|arXiv (Cornell University)|Jul 10, 2024

AI in Service Interactions被引用数 9

ひとこと要約

この論文は、FACTS フレームワークを企業向け RAG ベースのチャットボットに導入し、RAG パイプライン全体の 15 のコントロールポイント、柔軟な NVBot プラットフォームのアーキテクチャ、企業環境における大規模 LLM と小規模 LLM の経験的トレードオフを詳述します。

ABSTRACT

Enterprise chatbots, powered by generative AI, are emerging as key applications to enhance employee productivity. Retrieval Augmented Generation (RAG), Large Language Models (LLMs), and orchestration frameworks like Langchain and Llamaindex are crucial for building these chatbots. However, creating effective enterprise chatbots is challenging and requires meticulous RAG pipeline engineering. This includes fine-tuning embeddings and LLMs, extracting documents from vector databases, rephrasing queries, reranking results, designing prompts, honoring document access controls, providing concise responses, including references, safeguarding personal information, and building orchestration agents. We present a framework for building RAG-based chatbots based on our experience with three NVIDIA chatbots: for IT/HR benefits, financial earnings, and general content. Our contributions are three-fold: introducing the FACTS framework (Freshness, Architectures, Cost, Testing, Security), presenting fifteen RAG pipeline control points, and providing empirical results on accuracy-latency tradeoffs between large and small LLMs. To the best of our knowledge, this is the first paper of its kind that provides a holistic view of the factors as well as solutions for building secure enterprise-grade chatbots."

研究の動機と目的

• FACTS フレームワーク（Freshness, Architecture, Cost, Testing, Security）を企業向け RAG チャットボットの定義とする。
• RAG パイプラインの 15 のコントロールポイントを特定し、各ポイントの最適化戦略を説明する。
• ドメイン特化型、企業全体、コパイロット型アーキテクチャをサポートする柔軟なマルチボット NVBot プラットフォームを提案する。
• 企業向けチャットボット導入における大規模 LLM と小規模 LLM のコスト性能トレードオフを評価する。
• フレームワークを検証するため、3 つの NVIDIA チャットボット（NVInfo、NVHelp、Scout）を構築した実務経験を示す。

提案手法

• 5 つの FACTS 次元を説明し、それらが企業向け RAG チャットボットの成功にとっていかに重要かを主張する。
• RAG パイプラインの 15 のコントロールポイント（RAG-C および RAGOps）と対応する是正戦略を列挙・説明する。
• LLM、ベクトルデータベース、埋め込み、エージェントの選択を可能にするモジュラーでプラグイン可能な NVBot プラットフォームのアーキテクチャを提示する。
• 実在の NVIDIA データを用いて、企業ドメインにおける大規模 LLM と小規模 LLM の精度と待機時間の実証的比較を提供する。
• マルチボット・アーキテクチャ（ドメイン特化型、企業全体、コパイロット）とデプロイメントにおけるガードレール、データガバナンス、アクセス制御の役割を論じる。

Figure 1. Control Points in a typical RAG pipeline when building Chatbots.

実験結果

リサーチクエスチョン

• RQ1 RAG を用いた企業向け高品位生成AI チャットボットの構築・デプロイにおける主な課題は何か。
• RQ2 FACTS の次元と 15 のコントロールポイントをどのように活用して RAG ベースのチャットボットの性能を最適化できるか。
• RQ3 大規模 LLM と小規模 LLM を使用したときの精度と待機時間のトレードオフは企業のチャットボットでどう現れるか。
• RQ4 組織はスケーラブルなチャットボット・プラットフォームにおいて、アーキテクチャの柔軟性とガードレール、安全性、コストのバランスをどのように取るべきか。

主な発見

• FACTS（Freshness, Architecture, Cost, Testing, Security）というフレームワークは、企業向け RAG チャットボットに必要なコア次元を捉える。
• RAG パイプラインの十五のコントロールポイントは、精度、待機時間、安全性に重大な影響を与え、メタデータ強化、チャンク化、クエリの言い換え、クエリ再ランキングが高い影響を持つ。
• レキシカル検索とベクトル検索を組み合わせたハイブリッド検索は、検索のカバレッジと関連性を改善する。
• 柔軟なアーキテクチャ（NVBot）は、統一プラットフォーム内で複数のボットとドメイン特化型コパイロットをサポートする。
• 実証的な結果は、企業タスクにおいて大規模 LLM と小規模 LLM の精度と待機時間の間にトレードオフがあることを示し、オープンソース LLM がときに大規模モデルに匹敵または近づくことがある。
• セキュリティ、アクセス制御、データガバナンス、ガードレールは、データの漏洩防止とポリシー準拠の応答を保証するために不可欠である。

Figure 2. Agent architecture for handling complex queries