[论文解读] Customer Sentiment Analysis using Weak Supervision for Customer-Agent Chat

Navdeep Jain|arXiv (Cornell University)|Nov 28, 2021

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出一种弱监督方法，利用预训练情感模型与领域特定词典规则相结合作为标注函数，训练基于 RoBERTa 的客户-客服对话情感分类器。该方法在领域特定情感案例上的表现优于 Google Cloud NLP 等现成 API，尤其在上下文和术语至关重要的复杂客户服务场景中表现更优。

ABSTRACT

Prior work on sentiment analysis using weak supervision primarily focuses on different reviews such as movies (IMDB), restaurants (Yelp), products (Amazon).~One under-explored field in this regard is customer chat data for a customer-agent chat in customer support due to the lack of availability of free public data. Here, we perform sentiment analysis on customer chat using weak supervision on our in-house dataset. We fine-tune the pre-trained language model (LM) RoBERTa as a sentiment classifier using weak supervision. Our contribution is as follows:1) We show that by using weak sentiment classifiers along with domain-specific lexicon-based rules as Labeling Functions (LF), we can train a fairly accurate customer chat sentiment classifier using weak supervision. 2) We compare the performance of our custom-trained model with off-the-shelf google cloud NLP API for sentiment analysis. We show that by injecting domain-specific knowledge using LFs, even with weak supervision, we can train a model to handle some domain-specific use cases better than off-the-shelf google cloud NLP API. 3) We also present an analysis of how customer sentiment in a chat relates to problem resolution.

研究动机与目标

• 开发一种无需大规模标注数据的客户-客服对话情感分析模型。
• 评估利用预训练情感模型与自定义词典规则进行弱监督在领域特定情感分类中的有效性。
• 在真实客户服务场景中，将弱监督模型的性能与现成的 NLP API（如 Google Cloud NLP）进行比较。
• 分析对话过程中情感演变与问题解决结果之间的关系。

提出的方法

• 采用五种标注函数：三种通用情感模型（Textblob、AFINN、VADER）以及两种基于领域特定词典规则的正向与负向情感标注规则。
• 使用 Snorkel 标注模型将弱标签聚合为每个实例的单一、更可靠的标签，同时考虑标注函数的准确率与相关性。
• 利用对比正则化自训练（COSINE）方法在弱标注数据上微调 RoBERTa，以提升模型泛化能力。
• 使用 Snorkel 流水线端到端训练模型，该流程支持可扩展的弱监督与标签聚合。
• 在保留的测试集上，将微调后 RoBERTa 模型的预测结果与 Google Cloud NLP API 的预测结果进行对比。

实验结果

研究问题

• RQ1 与现成 API 相比，使用领域特定标注函数的弱监督方法是否能提升客户-客服对话中的情感分类准确率？
• RQ2 领域特定词典规则的整合如何影响模型对细微情感表达的性能表现？
• RQ3 对话过程中情感趋势与客户问题解决状态之间存在何种关系？
• RQ4 来自多种来源（如 Textblob、AFINN 和自定义规则）的弱标签在多大程度上提升了最终模型的性能？

主要发现

• 使用五种标注函数的 Snorkel 标注模型在微调 RoBERTa 后，宏 F1 分数达到 0.65，优于仅使用 Textblob（0.53）或 AFINN（0.58）训练的模型。
• 使用弱监督微调的 RoBERTa 模型在 Google Cloud NLP API 失败的领域特定情感案例中实现了 100% 的正确分类，例如对竞争对手的提及和礼貌告别语。
• 以积极情感结束的对话与问题解决强相关，而结尾非积极情感则表明问题未解决。
• 当客服提供替代方案（如电话转接或技术人员预约）时，对话结尾的情感状态可能为积极、中性或消极，表明情感并非总是解决状态的直接代理。
• 使用弱监督训练的模型在领域特定情感表达上的准确率高于 Google Cloud NLP API，例如在康卡斯特（Comcast）语境下，'ATT 有光纤，仅需 80 美元' 被正确识别为负面情绪。