[논문 리뷰] Enhancing Multilingual Information Retrieval in Mixed Human Resources Environments: A RAG Model Implementation for Multicultural Enterprise

Syed Rameel Ahmad|arXiv (Cornell University)|2024. 01. 03.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 대규모의 언어적으로 다양한 기업에서 다국어 정보 검색을 위해 맞춤화된 Retrieval Augmented Generation (RAG) 모델을 제시하며, ingested 데이터, 프롬프트, 다국어 및 음성 기능, 전달 채널, 그리고 모델 평가를 자세히 다룬다.

ABSTRACT

The advent of Large Language Models has revolutionized information retrieval, ushering in a new era of expansive knowledge accessibility. While these models excel in providing open-world knowledge, effectively extracting answers in diverse linguistic environments with varying levels of literacy remains a formidable challenge. Retrieval Augmented Generation (RAG) emerges as a promising solution, bridging the gap between information availability and multilingual comprehension. However, deploying RAG models in real-world scenarios demands careful consideration of various factors. This paper addresses the critical challenges associated with implementing RAG models in multicultural environments. We delve into essential considerations, including data feeding strategies, timely updates, mitigation of hallucinations, prevention of erroneous responses, and optimization of delivery speed. Our work involves the integration of a diverse array of tools, meticulously combined to facilitate the seamless adoption of RAG models across languages and literacy levels within a multicultural organizational context. Through strategic tweaks in our approaches, we achieve not only effectiveness but also efficiency, ensuring the accelerated and accurate delivery of information in a manner that is tailored to the unique requirements of multilingual and multicultural settings.

연구 동기 및 목표

• 다국어로 다양한 인력 구성을 가진 대규모 조직에서 효과적인 다국어 정보 검색의 필요성을 제시한다.
• 다문화 기업을 위한 맞춤형 ingestion, prompts, 다국어, 음성, 전달 구성 요소를 갖춘 RAG 기반 아키텍처를 제안한다.
• 실무 조직용 구현 단계와 산출물을 제시한다.
• 기업 컨텍스트에서 다양한 LLM과 전달 메커니즘의 성능을 평가한다.

제안 방법

• 수집 전략, 프롬프트, 다국어 기능, 음성 통합, LLM 선택, 전달 전략을 포함하는 RAG 아키텍처를 제안한다.
• 일관성과 관련성 지표를 기반으로 1,000-token 청크와 200-token 중첩으로 청크 전략을 실험하고 확정한다.
• 환각 현상을 완화하기 위한 QA 프롬프트를 개발하고 표준, 체인-오브-생각(chain-of-thought), QA 구성에서 프롬프트를 평가한다.
• Urdu/영어 지원과 역번역 워크플로를 갖춘 언어 감지기와 Google Translator를 통한 번역을 구현한다.
• LLM 처리용 영어로의 Whisper 기반 다국어 번역을 도입하고, 이후 음성 상호작용을 위한 TTS(Google) 및 STT 구성요소를 사용한다.
• 1000개의 질문 벤치마크에서 LLM(GPT-3, GPT-4, LLaMA2, LAMBADA, PALM)을 비교하여 엔터프라이즈 데이터 작업에 GPT-4를 선택한다.
• WhatsApp 선호를 포함한 사용자 설문을 통해 전달 채널을 평가하고 모바일 HR 앱 및 WhatsApp 인터페이스를 만든다.

실험 결과

연구 질문

• RQ1 다문화 기업에서 다국어 및 문해력 다양성 상황에서 RAG를 어떻게 효과적으로 배치할 수 있는가?
• RQ2 다국어 HR/QA 맥락에서 정확도와 속도를 최적화하는 수집, 프롬프트, 번역, 전달 전략은 무엇인가?
• RQ3 기업 데이터 응용에 대해 맥락 보존, 일관성, 정확도, 처리 시간의 균형을 가장 잘 맞추는 LLM은 무엇인가?
• RQ4 다국어 구사 인력에서 사용자 채택과 참여를 극대화하는 전달 채널은 무엇인가?

주요 결과

대형 언어 모델	맥락 유지	응답 일관성	정확도 (%)	처리 시간 (ms)
GPT-3	Moderate	High	75	120
GPT-4	High	Very High	85	100
LLaMA2	High	High	80	110
LAMBADA	Moderate	Moderate	70	130
PALM	High	High	78	115

• 1000-token 청크와 200-token 중첩으로 구성된 청크는 높은 일관성과 관련성을 제공한다.
• 최종 QA 프롬프트가 환각을 감소시키고 불필요한 계산 없이 빠른 응답을 가능하게 한다.
• Google Translator는 번역 작업에서 Azure보다 높은 정확도(90%)와 더 빠른 속도(50 ms)를 제공한다.
• GPT-4는 맥락 보존이 가장 뛰어나고, 매우 높은 일관성과 더 높은 정확도(85%)를 달성하며 처리 시간도 경쟁력 있다(100 ms).
• WhatsApp는 선호되는 전달 채널이며, 다국어 접근을 위한 모바일 앱 보기가 구현되어 다양하게 참여를 이끈다.
• 시스템은 HR 문의의 월간 약 30% 감소와 일일 활동 증가(700개 모바일 대화, 450개 WhatsApp 대화)라는 측정 가능한 참여 지표를 보여준다.