[論文レビュー] Enhancing Multilingual Information Retrieval in Mixed Human Resources Environments: A RAG Model Implementation for Multicultural Enterprise

Syed Rameel Ahmad|arXiv (Cornell University)|Jan 3, 2024

Topic Modeling被引用数 8

ひとこと要約

この論文は、巨大で言語的に多様な企業における multilingual information retrieval のための Retrieval Augmented Generation (RAG) モデルを提示し、取り込み、プロンプト、多言語および音声機能、提供チャネル、モデル評価を詳述する。

ABSTRACT

The advent of Large Language Models has revolutionized information retrieval, ushering in a new era of expansive knowledge accessibility. While these models excel in providing open-world knowledge, effectively extracting answers in diverse linguistic environments with varying levels of literacy remains a formidable challenge. Retrieval Augmented Generation (RAG) emerges as a promising solution, bridging the gap between information availability and multilingual comprehension. However, deploying RAG models in real-world scenarios demands careful consideration of various factors. This paper addresses the critical challenges associated with implementing RAG models in multicultural environments. We delve into essential considerations, including data feeding strategies, timely updates, mitigation of hallucinations, prevention of erroneous responses, and optimization of delivery speed. Our work involves the integration of a diverse array of tools, meticulously combined to facilitate the seamless adoption of RAG models across languages and literacy levels within a multicultural organizational context. Through strategic tweaks in our approaches, we achieve not only effectiveness but also efficiency, ensuring the accelerated and accurate delivery of information in a manner that is tailored to the unique requirements of multilingual and multicultural settings.

研究の動機と目的

• 大規模で言語的に多様な労働力の中で、多言語情報検索の必要性を動機づける。
• Tailored ingestion, prompts, multilingual, speech, and delivery components for multicultural enterprises.
• 実世界の組織での実用的な実装手順と成果物を示す。
• 企業環境におけるさまざまなLLMと提供手段の性能を評価する。

提案手法

• 取り込み戦略、プロンプト、多言語機能、音声統合、LLM選択、提供戦略を含むRAGアーキテクチャを提案する。
• 一貫性と関連性の指標に基づき、チャンク化戦略を実験し、1000トークンのチャンクと200トークンのオーバーラップを確定する。
• 幻覚を抑制するためのQAプロンプトを開発し、標準、チェーンオブソthought、QA構成でプロンプトを評価する。
• 言語検出器とGoogle翻訳による翻訳を実装し、Urdu/English対応とバックトランスレーションワークフローを備える。
• LLM処理のためにWhisperベースの多言語翻訳を英語へ組込み、その後TTS（Google）とSTTコンポーネントを音声対応対話に用いる。
• エンタープライズデータタスクのためにGPT-4を選択するため、1000問のベンチマークでLLMs（GPT-3、GPT-4、LLaMA2、LAMBADA、PALM）を比較する。
• WhatsAppを優先とするユーザー調査による提供チャネルの評価と、モバイルHRアプリおよびWhatsApp向けインターフェイスを作成する。

実験結果

リサーチクエスチョン

• RQ1 多文化企業で、 multilingualおよびリテラシーの多様性を伴う環境に、RAGをどのように効果的に展開できるか？
• RQ2 翻訳、取り込み、プロンプト、提供戦略は、多言語HR/QAコンテキストで正確さと速度を最適化する？
• RQ3 企業データアプリケーションにおいて、文脈保持、整合性、正確性、処理時間のバランスを最も取るのはどのLLMsか？
• RQ4 多言語ワークフォースの採用とエンゲージメントを最大化する提供チャネルはどれか？

主な発見

LLM	Context Retention	Response Coherence	Accuracy (%)	Processing Time (ms)
GPT-3	Moderate	High	75	120
GPT-4	High	Very High	85	100
LLaMA2	High	High	80	110
LAMBADA	Moderate	Moderate	70	130
PALM	High	High	78	115

• 1000トークンのチャンクと200トークンのオーバーラップが高い一貫性と関連性を提供。
• 最終QAプロンプトは幻覚を減らし、不要な計算なしで迅速な応答を可能にする。
• Google翻訳は翻訳タスクでの正確さ（90%）と速度（50 ms）がAzureのそれ（60%、100 ms）より高い。
• GPT-4は最も高い文脈保持、非常に高い一貫性、より高い正確性（85%）を達成し、処理時間も競争力ある（100 ms） 。
• WhatsAppは提供チャネルとして好まれ、多言語アクセスのためのモバイルアプリビューを実装し、多様なエンゲージメント指標に寄与。
• システムはHRクエリの月次で約30%の低減と日次の大幅なエンゲージメント（700件のモバイル会話、450件のWhatsApp会話）を実証。