[论文解读] Don't get Lost in Negation: An Effective Negation Handled Dialogue Acts Prediction Algorithm for Twitter Customer Service Conversations

Mansurul Bhuiyan, Amita Misra+3 more|arXiv (Cornell University)|Jul 16, 2018

Topic Modeling参考文献 24被引用 5

一句话总结

本文提出了一种基于SVM的Twitter客服对话话语行为预测算法，通过自定义启发式方法显式处理否定，结合最先进模型。结果表明，引入否定检测——尤其是采用-1/+2窗口启发式方法——显著提升了大多数话语行为的F1分数，且启发式方法在非正式推文数据上优于CRF基线方法。

ABSTRACT

In the last several years, Twitter is being adopted by the companies as an alternative platform to interact with the customers to address their concerns. With the abundance of such unconventional conversation resources, push for developing effective virtual agents is more than ever. To address this challenge, a better understanding of such customer service conversations is required. Lately, there have been several works proposing a novel taxonomy for fine-grained dialogue acts as well as develop algorithms for automatic detection of these acts. The outcomes of these works are providing stepping stones for the ultimate goal of building efficient and effective virtual agents. But none of these works consider handling the notion of negation into the proposed algorithms. In this work, we developed an SVM-based dialogue acts prediction algorithm for Twitter customer service conversations where negation handling is an integral part of the end-to-end solution. For negation handling, we propose several efficient heuristics as well as adopt recent state-of- art third party machine learning based solutions. Empirically we show model's performance gain while handling negation compared to when we don't. Our experiments show that for the informal text such as tweets, the heuristic-based approach is more effective.

研究动机与目标

• 为解决Twitter客服对话话语行为预测中缺乏否定处理的问题。
• 开发并评估适用于非正式对话文本（如推文）的高效否定范围检测技术。
• 通过区分肯定与否定陈述，提升话语行为分类的准确性。
• 创建一个公开可用的、包含2,235条带否定标注的客服推文的语料库，涵盖12种话语行为类型。

提出的方法

• 提出一种基于窗口的启发式否定范围检测方法，其中-1/+2窗口（否定提示词前一个词和后两个词）表现最优。
• 整合多种否定检测策略：基于规则的启发式方法、词性标注、标点符号线索以及情感词检测。
• 采用CRF基模型作为对比，该模型在Semeval-2012数据上预训练，但测试时应用于非正式的Twitter文本。
• 使用SVM进行话语级话语行为分类，特征为手工设计，包括词汇、句法和语义线索。
• 采用5折交叉验证，分别用于超参数调优和测试，以确保评估的稳健性。
• 通过众包方式对2,235条推文进行标注，标注内容包括否定提示词和12种话语行为类型，与Shereen等人（2018）提出的分类体系一致。

实验结果

研究问题

• RQ1 在非正式的Twitter客服对话中，引入否定检测是否能提升话语行为预测性能？
• RQ2 在非正式推文数据上，基于规则的启发式方法与序列模型在否定范围检测中哪一者表现更优？
• RQ3 在存在否定的情况下，所提模型与现有最先进话语行为分类系统相比性能如何？
• RQ4 为何CRF基否定模型在非正式文本上表现不佳，尽管其在正式基准上表现优异？

主要发现

• -1/+2窗口启发式方法在大多数话语行为上取得了最高的F1分数，优于其他窗口大小及CRF基方法。
• 引入否定检测使12种话语行为中的10种F1分数得到提升，其中提升最大的是'question_yesno'（+0.12）和'statement_complaint'（+0.03）。
• CRF基否定模型表现不佳，原因在于领域偏移——其在正式英语（Arthur Conan Doyle作品）上训练，却在非正式的Twitter文本上测试。
• 'socialact_thanks'话语行为的改进最小，可能是因为其本身已具有强烈的内在信号，如明确的'thank you'等表达。
• 所提模型在12种话语行为中的10种上优于Shereen等人（2018）提出的最先进基线模型，尤其在短对话中表现更优。
• 在非正式Twitter文本上，基于启发式的否定范围检测比CRF基方法更有效，凸显了领域特定适配的重要性。