[论文解读] Churn Intent Detection in Multilingual Chatbot Conversations and Social Media

Christian Abbet, Meryem M’hamdi+5 more|arXiv (Cornell University)|Aug 25, 2018

Sentiment Analysis and Opinion Mining参考文献 16被引用 7

一句话总结

本文提出了一种基于神经网络的多语言模型，用于在社交媒体和聊天机器人对话中检测流失意图，利用迁移学习和多语言词嵌入技术。该模型在英语和德语数据集上达到最先进性能，证明了多语言训练模型优于单语言模型，且流失意图模式在不同语言和沟通平台间具有通用性。

ABSTRACT

We propose a new method to detect when users express the intent to leave a service, also known as churn. While previous work focuses solely on social media, we show that this intent can be detected in chatbot conversations. As companies increasingly rely on chatbots they need an overview of potentially churny users. To this end, we crowdsource and publish a dataset of churn intent expressions in chatbot interactions in German and English. We show that classifiers trained on social media data can detect the same intent in the context of chatbots. We introduce a classification architecture that outperforms existing work on churn intent detection in social media. Moreover, we show that, using bilingual word embeddings, a system trained on combined English and German data outperforms monolingual approaches. As the only existing dataset is in English, we crowdsource and publish a novel dataset of German tweets. We thus underline the universal aspect of the problem, as examples of churn intent in English help us identify churn in German tweets and chatbot conversations.

研究动机与目标

• 通过在无需历史用户行为数据的情况下实现基于文本的意图检测，解决流失检测中的冷启动问题。
• 将流失意图检测从社交媒体扩展至聊天机器人对话，因为用户不满日益通过自动化系统表达。
• 通过证明多语言训练可提升英语和德语的性能，表明流失意图检测具有语言无关性。
• 发布首个公开可用的德语社交媒体和聊天机器人互动中的流失意图检测多语言数据集。
• 验证使用统一神经架构，从社交媒体到聊天机器人对话的知识迁移是可行且有效的。

提出的方法

• 提出一种混合神经架构，结合卷积、循环和自注意力层，以捕捉用户文本中的上下文和序列模式。
• 使用多语言词嵌入进行模型训练，以对齐英语和德语之间的语义表示，实现跨语言知识迁移。
• 收集并标注了1,000条涉及电信品牌的德语推文，补充现有的英语数据集。
• 开发自定义聊天机器人平台，生成并标注1,000条英语和1,000条德语聊天机器人对话，用于流失意图检测。
• 使用10折交叉验证训练和评估模型，比较在社交媒体和聊天机器人数据上，单语言与多语言训练设置的性能差异。
• 使用迁移学习评估：在社交媒体数据上训练的模型是否能有效泛化到聊天机器人对话，反之亦然。

实验结果

研究问题

• RQ1 在社交媒体数据上训练的流失意图检测模型，能否有效泛化到聊天机器人对话？
• RQ2 在低资源语言（如德语）中使用多语言词嵌入是否能提升流失意图检测性能？
• RQ3 表达流失意图的模式是否在不同语言间保持一致，从而支持跨语言迁移学习？
• RQ4 在社交媒体和聊天机器人场景中，单语言与多语言训练设置下的模型性能有何差异？
• RQ5 统一模型能否在英语和德语中均检测到流失意图，即使训练数据来自不同模态（如推文与聊天机器人日志）？

主要发现

• 所提出的模型在英语社交媒体数据上达到85.88%的F1分数，比先前最先进方法高出2.03%。
• 使用多语言嵌入在英语和德语数据上联合训练，使德语的F1分数提升7.8%，英语提升1.65%，证明了强大的跨语言迁移能力。
• 模型能有效从社交媒体泛化到聊天机器人对话，在使用多语言社交媒体数据训练、在英语聊天机器人数据上测试时，F1分数提升2.34%。
• 多语言模型在模糊情况（如“我想换”）下能正确识别非流失意图，而单语言模型则误分类，这是由于其具备更丰富的跨语言模式学习能力。
• 在聊天机器人对话中，召回率高于精确率，表明模型在避免漏检方面表现保守——这对主动客户留存至关重要。
• 尽管德语聊天机器人对话的F1分数略有下降，但单语言模型表现良好，这归因于训练推文与测试对话在结构上的相似性，表明数据多样性有限。