[논문 리뷰] A Multilingual African Embedding for FAQ Chatbots

Aymen Ben Elhaj Mabrouk, Moez Ben HajHmida외 3명|arXiv (Cornell University)|2021. 03. 16.

AI in Service Interactions참고 문헌 8인용 수 4

한 줄 요약

이 논문은 코로나19 위기 상황에서 아프리카 현지 언어 및 방언을 대상으로 다국어·다방언 FAQ 챗봇을 개발한 것으로, 아랍어, 프랑스어, 영어, 튀니지어, 이보어, 요르바어, 하우사어를 포함한 아프리카 언어에 특화된 수정된 StarSpace 임베딩을 사용한다. 이 시스템은 높은 사용자 참여도와 만족스러운 응답 품질을 달성했으며, 대화당 평균 7.4건의 메시지와 인간 평가에서 68%의 타당성 및 60%의 구체성 점수를 기록하여, 다국어·저자원 아프리카 환경에서의 효과성을 입증한다.

ABSTRACT

Searching for an available, reliable, official, and understandable information is not a trivial task due to scattered information across the internet, and the availability lack of governmental communication channels communicating with African dialects and languages. In this paper, we introduce an Artificial Intelligence Powered chatbot for crisis communication that would be omnichannel, multilingual and multi dialectal. We present our work on modified StarSpace embedding tailored for African dialects for the question-answering task along with the architecture of the proposed chatbot system and a description of the different layers. English, French, Arabic, Tunisian, Igbo,Yorùbá, and Hausa are used as languages and dialects. Quantitative and qualitative evaluation results are obtained for our real deployed Covid-19 chatbot. Results show that users are satisfied and the conversation with the chatbot is meeting customer needs.

연구 동기 및 목표

• 코로나19 패an드emic 기간 동안 아프리카 현지 방언에서 신뢰할 수 있고 공식적이며 접근 가능한 다국어 위기 커뮤니케이션의 부족을 해결하기 위해.
• 공식 언어와 튀니지어, 이보어, 요르바어, 하우사어와 같은 현지 방언을 모두 지원하는 옴니채널, 다국어, 다방언 챗봇을 개발하기 위해.
• 아프리카 방언을 위한 사전 학습된 언어 모델과 도메인 전용 임베딩의 부재를 보완하기 위해 맞춤형 임베딩 모델을 개발하기 위해.
• 농촌 및 무교육자와 같은 취약 계층이 기관 서비스를 디지털화함으로써 신뢰할 수 있는 정보에 접근할 수 있도록 하기 위해.
• 정량적 및 정성적 평가를 통해 챗봇의 성능을 평가하여 사용자 만족도와 응답의 관련성을 확보하기 위해.

제안 방법

• 튀니지 및 나이지리아 정부 및 NGO 자료에서 공식적이고 신뢰할 수 있는 코로나19 FAQ 데이터를 수집하였다.
• 대화의 자연스러움을 향상시키기 위해 인사, 농담과 같은 채팅 유사 상호작용을 데이터에 보완하였다.
• 의도 분류를 위해 데이터셋을 두 가지 카테고리로 분할: 자주 묻는 질문(Frequently Asked Questions, FAQ) 및 채팅.
• 아프리카 언어 및 방언을 위한 다국어·다방언 표현 학습을 지원하도록 StarSpace 임베딩 모델을 수정하였다.
• 맞춤형 임베딩 레이어를 통해 제로샷 또는 소수의 샘플로도 다국어 및 다방언을 처리할 수 있는 챗봇 아키텍처를 설계하였다.
• 실제 상호작용 로그를 평가 자료로 수집하기 위해 메신저 등 여러 채널에 챗봇을 배포하였다.

실험 결과

연구 질문

• RQ1 다국어·다방언 챗봇은 위기 상황에서 공식 언어와 현지 방언을 모두 사용하는 아프리카 시민들에게 효과적으로 기여할 수 있는가?
• RQ2 수정된 StarSpace 임베딩 모델은 저자원 아프리카 방언의 의미적 표현을 학습하는 데 얼마나 효과적인가?
• RQ3 아프리카의 다국어 환경에서 배포된 위기 챗봇의 실제 사용자 참여도와 만족도는 어떠한가?
• RQ4 이러한 시스템은 다양한 아프리카 언어 및 방언에서 타당성 있고 특정한 응답을 제공할 수 있는가?
• RQ5 이러한 시스템은 농촌 및 무교육자와 같은 취약 계층이 신뢰할 수 있는 정보에 접근할 수 있도록 개선할 수 있는가?

주요 결과

• 챗봇은 2020년 3월 23일부터 6월 18일까지 메신저에서 8,153명의 고유 사용자를 확보했으며, 대화당 평균 7.4건의 질문을 기록하여 높은 상호작용 빈도를 보였다.
• 활동 유지율(일일 활성 사용자 수 / 월간 활성 사용자 수)이 16.85%에 도달하여 지속적인 사용자 참여를 보였다.
• 감성 및 특정성 평균(SSA) 지표를 활용한 인간 평가 결과, 타당성 68%, 특정성 60%로 높은 품질의 맥락에 부합하는 응답을 제공함을 확인하였다.
• 사용자 기반은 다양했으며, 18세에서 34세 연령대에서 높은 참여도를 보였고, 남성과 여성 모두 다양한 연령대에서 뚜렷한 참여가 있었다.
• 사전 설정된 시나리오 없이도 영어, 프랑스어, 아랍어, 튀니지어, 이보어, 요르바어, 하우사어 등 여러 언어에서 질문을 성공적으로 처리하였다.
• 수정된 StarSpace 임베딩 모델은 교차 언어 및 교차 방언 이해를 효과적으로 지원하여, 다양한 아프리카 언어 및 방언에서의 배포를 가능케 하였다.