[论文解读] A Multilingual African Embedding for FAQ Chatbots

Aymen Ben Elhaj Mabrouk, Moez Ben HajHmida+3 more|arXiv (Cornell University)|Mar 16, 2021

AI in Service Interactions参考文献 8被引用 4

一句话总结

本文提出了一种用于非洲危机沟通的多语言、多方言FAQ聊天机器人，采用针对非洲语言（包括阿拉伯语、法语、英语、突尼斯阿拉伯语、伊博语、约鲁巴语和豪萨语）定制的StarSpace嵌入模型。该系统实现了较高的用户参与度和令人满意的响应质量，平均每次对话达7.4条消息，人工评估中感知合理性和具体性得分分别为68%和60%，证明其在多语言、低资源非洲语境下的有效性。

ABSTRACT

Searching for an available, reliable, official, and understandable information is not a trivial task due to scattered information across the internet, and the availability lack of governmental communication channels communicating with African dialects and languages. In this paper, we introduce an Artificial Intelligence Powered chatbot for crisis communication that would be omnichannel, multilingual and multi dialectal. We present our work on modified StarSpace embedding tailored for African dialects for the question-answering task along with the architecture of the proposed chatbot system and a description of the different layers. English, French, Arabic, Tunisian, Igbo,Yorùbá, and Hausa are used as languages and dialects. Quantitative and qualitative evaluation results are obtained for our real deployed Covid-19 chatbot. Results show that users are satisfied and the conversation with the chatbot is meeting customer needs.

研究动机与目标

• 为应对新冠疫情期间非洲本土方言中缺乏可靠、官方且可访问的多语言危机沟通渠道的问题。
• 开发一种全渠道、多语言、多方言聊天机器人，使公民能够使用官方语言及本地方言（如突尼斯阿拉伯语、伊博语、约鲁巴语和豪萨语）获取服务。
• 通过创建定制嵌入模型，弥补非洲方言缺乏预训练语言模型和领域特定嵌入的空白。
• 通过数字化机构服务，提升农村及文盲群体等弱势群体获取可靠信息的可及性。
• 通过定量与定性相结合的方式评估聊天机器人的性能，确保用户满意度与响应的相关性。

提出的方法

• 从突尼斯和尼日利亚的政府及非政府组织官方渠道收集可靠的新冠问答数据。
• 通过添加类似闲聊的互动（如问候、笑话）以提升对话流畅性。
• 将数据集划分为两类：常见问题（FAQ）和闲聊，用于意图分类。
• 对StarSpace嵌入模型进行修改，以支持非洲语言及方言的多语言、多方言表征学习。
• 设计一种聊天机器人架构，通过定制嵌入层实现对多种语言和方言的零样本或少样本适应。
• 在多个渠道（如Messenger）上部署聊天机器人，并收集真实世界交互日志用于评估。

实验结果

研究问题

• RQ1 多语言、多方言聊天机器人能否在危机期间有效服务于使用官方语言和本地方言的非洲用户？
• RQ2 经修改的StarSpace嵌入模型在学习低资源非洲方言语义表征方面表现如何？
• RQ3 在非洲多语言语境下部署的危机聊天机器人，其真实世界用户参与度和满意度如何？
• RQ4 该聊天机器人在多种非洲语言和方言中提供合理且具体响应的能力达到何种程度？
• RQ5 此类系统能否提升农村及文盲用户等弱势群体获取可靠信息的能力？

主要发现

• 聊天机器人实现了较高的互动率，在2020年3月23日至6月18日期间，Messenger平台共有8,153名独立用户，平均每次对话达7.4条问题。
• 粘性率（日活跃用户数除以月活跃用户数）达到16.85%，表明用户参与度持续稳定。
• 基于感知合理性和具体性平均值（SSA）的人工评估显示，合理性和具体性得分分别为68%和60%，表明响应质量高且与上下文高度相关。
• 用户群体多样化，18–34岁年龄组参与度显著，且各年龄组中男女用户均有显著代表。
• 聊天机器人成功处理了包括英语、法语、阿拉伯语、突尼斯阿拉伯语、伊博语、约鲁巴语和豪萨语在内的多种语言问题，且无需预设场景。
• 经修改的StarSpace嵌入模型实现了有效的跨语言和跨方言理解，支持在多种非洲语言和方言中的部署。