[論文レビュー] A Multilingual African Embedding for FAQ Chatbots

Aymen Ben Elhaj Mabrouk, Moez Ben HajHmida+3 more|arXiv (Cornell University)|Mar 16, 2021

AI in Service Interactions参考文献 8被引用数 4

ひとこと要約

本稿では、アフリカの危機対応を目的として、アラビア語、フランス語、英語、トゥニジアン・アラビア語、イグボ語、ヨルゥバ語、アラビア語を含むアフリカ言語を対象に、改変されたStarSpace埋め込みを用いた多言語・多方言FAQチャットボットを紹介する。このシステムは、高いユーザー参加度と満足できる応答品質を達成しており、会話あたり平均7.4件のメッセージと、人間による評価で68％の妥当性および60％の特異性スコアを記録し、多言語・低リソースなアフリカの文脈における有効性を示している。

ABSTRACT

Searching for an available, reliable, official, and understandable information is not a trivial task due to scattered information across the internet, and the availability lack of governmental communication channels communicating with African dialects and languages. In this paper, we introduce an Artificial Intelligence Powered chatbot for crisis communication that would be omnichannel, multilingual and multi dialectal. We present our work on modified StarSpace embedding tailored for African dialects for the question-answering task along with the architecture of the proposed chatbot system and a description of the different layers. English, French, Arabic, Tunisian, Igbo,Yorùbá, and Hausa are used as languages and dialects. Quantitative and qualitative evaluation results are obtained for our real deployed Covid-19 chatbot. Results show that users are satisfied and the conversation with the chatbot is meeting customer needs.

研究の動機と目的

• COVID-19パンデミック期における、信頼できる公式でアクセス可能な多言語・多方言の危機コミュニケーションの不足に対処すること。
• 公式言語およびトゥニジアン・アラビア語、イグボ語、ヨルゥバ語、アラビア語などの地域言語を含む、オムニチャネルで動作する多言語・多方言チャットボットの開発。
• アフリカの方言用に事前学習済み言語モデルやドメイン特化埋め込みが不足している状況を克服するため、カスタム埋め込みモデルの作成。
• 農村部や文盲の市民を含む脆弱な集団への信頼できる情報へのアクセスを向上させるために、機関サービスのデジタル化を推進すること。
• 定量的および定性的にチャットボットのパフォーマンスを評価し、ユーザー満足度と応答の関連性を保証すること。

提案手法

• チュニジアおよびナイジェリアの政府機関およびNGOの公式で信頼できるCOVID-19 Q&Aデータを収集した。
• 会話のなめらかさを向上させるために、挨拶やジョークなどの会話的対話（chitchat）をデータセットに追加した。
• データセットを2つのカテゴリに分割：意図分類用の頻出質問（FAQ）と会話用。
• アフリカの言語および方言の多言語・多方言表現学習を可能にするよう、StarSpace埋め込みモデルを改変した。
• カスタム埋め込み層を介してゼロショットまたは少数ショットの適応が可能な、複数の言語および方言を処理できるチャットボットアーキテクチャを設計した。
• 複数のチャネル（例：Messenger）にチャットボットを展開し、評価用にリアルワールドの相互作用ログを収集した。

実験結果

リサーチクエスチョン

• RQ1 多言語・多方言のチャットボットは、危機時におけるアフリカの市民が公式言語および地域言語（トゥニジアン・アラビア語、イグボ語、ヨルゥバ語、アラビア語など）を用いて効果的に支援できるか？
• RQ2 改変されたStarSpace埋め込みモデルは、低リソースなアフリカの方言の意味的表現を学習する上でどの程度の性能を示すか？
• RQ3 アフリカの多言語環境において、実際の現場で展開された危機用チャットボットのユーザー参加度および満足度はどの程度か？
• RQ4 このチャットボットは、多様なアフリカの言語および方言において、妥当で具体的な応答をどの程度提供できるか？
• RQ5 このようなシステムは、農村部や文盲のユーザーを含む脆弱な集団への信頼できる情報へのアクセスを向上させることができるか？

主な発見

• チャットボットは高い相互作用率を達成し、2020年3月23日から6月18日までの間、Messengerで8,153人のユニークユーザーが利用し、会話あたり平均7.4件の質問が発生した。
• スティッキーネス率（1日あたりのアクティブユーザー数 ÷ 月間アクティブユーザー数）は16.85％に達し、継続的なユーザー参加が確認された。
• 人間による評価で用いられた妥当性および特異性平均（SSA）指標により、68％の妥当性および60％の特異性が得られ、高品質で文脈に即した応答であることが示された。
• ユーザー層は多様で、18〜34歳の年齢層からの参加が顕著であり、男女ともに年齢層を問わず顕著な参加が見られた。
• 事前に定義されたシナリオなしに、英語、フランス語、アラビア語、トゥニジアン・アラビア語、イグボ語、ヨルゥバ語、アラビア語の複数の言語で質問を適切に処理できた。
• 改変されたStarSpace埋め込みモデルにより、言語間および方言間の理解が効果的に可能となり、複数のアフリカの言語および方言への展開を支援した。