[論文レビュー] Hybrid-RACA: Hybrid Retrieval-Augmented Composition Assistance for Real-time Text Prediction

Menglin Xia, Xuchao Zhang+4 more|arXiv (Cornell University)|Aug 8, 2023

Topic Modeling被引用数 8

ひとこと要約

HybridRAG はクラウド LLM と小型クライアントモデルをリトリーバル拡張メモリと非同期更新で結び付け、クライアントのみのベースラインよりリアルタイムなテキスト予測の遅延を低減し、実用性を向上させる。

ABSTRACT

Large language models (LLMs) enhanced with retrieval augmentation has shown great performance in many applications. However, the computational demands for these models pose a challenge when applying them to real-time tasks, such as composition assistance. To address this, we propose Hybrid Retrieval-Augmented Composition Assistance (Hybrid-RACA), a novel system for real-time text prediction that efficiently combines a cloud-based LLM with a smaller client-side model through retrieval augmented memory. This integration enables the client model to generate better responses, benefiting from the LLM's capabilities and cloud-based data. Meanwhile, via a novel asynchronous memory update mechanism, the client model can deliver real-time completions to user inputs without the need to wait for responses from the cloud. Our experiments on five datasets demonstrate that Hybrid-RACA offers strong performance while maintaining low latency.

研究の動機と目的

• リアルタイムの作曲支援を動機づけ、リトリーバル拡張 LLM の遅延/コスト課題に対処する。
• 非同期メモリ拡張を用いて小さなクライアントモデルを支援するハイブリッドクラウド–エッジフレームワークを提案する。
• リトリーバルと LLM 圧縮によるメモリ生成を実証し、クライアントに対する要約的取りまとめとしてのメモリを提供する。

提案手法

• 4 成分からなる HybridRAG アーキテクチャ: アグメンテーション・コーディネーター（クライアント）, メモリ拡張クライアント（クライアント）, レトリーバー（クラウド）, メモリ生成器（クラウド）
• 非同期メモリ更新: コーディネーターが非同期リクエストを送信; メモリは LLM により要約形式の取りまとめとして圧縮される
• リトリーバル: Dense Passage Retrieval (DPR) がコーパスから上位k個の文書を選択してメモリ生成を行う
• メモリ生成: LLM が取得文書から主要な取りまとめを抽出してメモリを形成し、クライアント上の既存メモリと統合する
• クライアントモデルのファインチューニング: LLM が生成した参照を用いたクロスエントロピー損失によりメモリ活用を促すようにクライアントを指示で調整する
• 評価設定: OPT-125M および OPT-350M を Vanilla OPT、RAG、および HybridRAG の変種と比較し、複数データセットで有用性と遅延を測定する

実験結果

リサーチクエスチョン

• RQ1 HybridRAG はクラウド生成メモリを活用することで小型クライアントモデルのテキスト予測の有用性を向上させるか？
• RQ2 非同期メモリ拡張の遅延影響は同期的なクラウド利用と比べてどうか？
• RQ3 メモリ表現（要約取りまとめ）は、全取得テキストを供給する場合と比べてクライアントモデルの性能にどのように影響するか？
• RQ4 クライアントモデルの指示学習はメモリの活用能力にどのような影響を与えるか？
• RQ5 メモリの新鮮さ（編集距離閾値）が予測品質に与える影響はどの程度か？

主な発見

Dataset/Model	PPL	GLEU	BLEU-4	ROUGE-1	ROUGE-L	METEOR	BERTScore
WikiText-103 - OPT-125M Vanilla OPT	9.3	11.4	6.9	27.5	22.1	20.2	84.0
WikiText-103 - RAG	4.3	12.8	9.6	28.4	23.4	22.4	84.5
WikiText-103 - HybridRAG w/o FT	3.8	14.7	12.2	29.9	25.1	24.3	84.8
WikiText-103 - HybridRAG FT	3.4	23.0	21.4	39.6	32.8	34.4	87.0
WikiText-103 - HybridRAG IT	2.6	30.2	28.8	48.3	40.2	44.1	89.0
WikiText-103 - OPT-350M Vanill a OPT	7.4	13.2	8.8	30.1	24.3	22.8	84.8
WikiText-103 - RAG (350M)	3.6	15.4	12.5	31.6	26.0	25.6	85.4
WikiText-103 - HybridRAG w/o FT (350M)	3.3	17.6	15.4	33.5	27.9	28.0	85.7
WikiText-103 - HybridRAG FT (350M)	3.2	23.9	22.3	40.7	33.8	35.5	87.4
WikiText-103 - HybridRAG IT (350M)	2.4	32.6	31.4	50.8	42.9	46.6	89.5

• メモリ拡張を用いた HybridRAG は、複数のデータセットと指標でクライアントのみのベースラインや RAG を一貫して上回る。
• 非同期メモリ更新は同期的なクラウド利用と比べて有意な遅延利得を生む（引用された比較では 138.3 倍高速など）。
• LLM 生成の要約メモリ取りまとめを用いると、取得テキストをそのまま入力するより有用性が向上する（HybridRAG w/o FT vs. RAG）。
• クライアントモデルを指示学習させると（HybridRAG IT）、データセットと指標を跨いで最大の利益を得る。
• より大きなクライアントモデル（OPT-350M）は、報告されている結果の多くで小さなモデルよりも性能が高い。