[论文解读] EmoWOZ: A Large-Scale Corpus and Labelling Scheme for Emotion Recognition in Task-Oriented Dialogue Systems

Shutong Feng, Nurul Lubis+5 more|arXiv (Cornell University)|Sep 10, 2021

Sentiment Analysis and Opinion Mining被引用 12

一句话总结

EmoWOZ 引入了一个大规模、公开可用、人工标注的语料库，包含 11,000 多条面向任务的对话，用户话语中带有 83,000 个情绪标签，采用基于 OCC 模型的新型 7 类情绪分类体系。研究结果表明，情绪标注使对话状态追踪的联合目标准确率提升了 1.0%，验证了该语料库在情绪感知型面向任务对话系统中的实用性。

ABSTRACT

The ability to recognise emotions lends a conversational artificial intelligence a human touch. While emotions in chit-chat dialogues have received substantial attention, emotions in task-oriented dialogues remain largely unaddressed. This is despite emotions and dialogue success having equally important roles in a natural system. Existing emotion-annotated task-oriented corpora are limited in size, label richness, and public availability, creating a bottleneck for downstream tasks. To lay a foundation for studies on emotions in task-oriented dialogues, we introduce EmoWOZ, a large-scale manually emotion-annotated corpus of task-oriented dialogues. EmoWOZ is based on MultiWOZ, a multi-domain task-oriented dialogue dataset. It contains more than 11K dialogues with more than 83K emotion annotations of user utterances. In addition to Wizard-of-Oz dialogues from MultiWOZ, we collect human-machine dialogues within the same set of domains to sufficiently cover the space of various emotions that can happen during the lifetime of a data-driven dialogue system. To the best of our knowledge, this is the first large-scale open-source corpus of its kind. We propose a novel emotion labelling scheme, which is tailored to task-oriented dialogues. We report a set of experimental results to show the usability of this corpus for emotion recognition and state tracking in task-oriented dialogues.

研究动机与目标

• 为解决面向任务对话中缺乏大规模、公开可用的情绪标注语料库的问题。
• 开发一种定制化的情绪标注体系，以捕捉与用户目标相关的上下文依赖型情绪，而不仅限于基本的情感极性。
• 通过提供情绪识别和下游任务的基准数据集，推动情绪感知对话系统的研究。
• 探究情绪标签在提升对话状态追踪和强化学习反馈信号方面的实用性。

提出的方法

• 通过在 MultiWOZ 基础上扩展 11,000 多条对话（包括 Wizard-of-Oz 和人机对话）构建 EmoWOZ，覆盖多个领域。
• 基于 OCC 模型设计了 7 类情绪标注体系，捕捉情绪的效价、行为对象和诱发因素，适用于恐惧、不满和满意等情绪。
• 收集并人工标注了 83,000 个用户话语的情绪标签，确保高标注者间一致性，并覆盖与目标相关的情绪状态。
• 使用上下文编码器（如 BERT）训练情绪识别模型，通过各类情绪的精确率、召回率和 F1 值评估性能。
• 将情绪识别作为多任务学习中的辅助任务，通过端到端联合训练对话状态追踪器（DST）和情绪预测任务。
• 通过联合目标准确率（JGA）评估情绪标签对对话状态追踪的影响，对比有无情绪监督的模型表现。

实验结果

研究问题

• RQ1 能否构建一个大规模、公开可用的情绪标注语料库，以支持面向任务对话的下游研究？
• RQ2 基于 OCC 的新型情绪标注体系在捕捉面向任务对话中与目标相关的情绪方面有多有效？
• RQ3 情绪识别在多大程度上能提升面向任务对话系统中的对话状态追踪性能？
• RQ4 WOZ 风格对话与机器生成策略对话在情绪分布和情绪识别实用性方面有何差异？

主要发现

• EmoWOZ 包含超过 11,000 条对话和 83,000 个用户话语的情绪标注，是目前规模最大的公开开源语料库，专用于面向任务对话的情绪识别。
• 所提出的 7 类情绪分类体系能有效捕捉恐惧、不满和满意等上下文依赖型情绪，标注一致性高且与用户目标高度相关。
• 在 EmoWOZ 上训练的情绪识别模型在测试集上达到 0.62 的宏平均 F1 分数，证明了在面向任务对话中识别细微目标相关情绪的可行性。
• 将 EmoWOZ 数据加入 MultiWOZ 训练集后，'不满'类别的召回率提升了 29.1%，'恐惧'和'兴奋'类别的精确率分别提升了 7.5% 和 7.1%，表明数据具有显著互补性。
• 将情绪识别作为辅助任务整合进模型后，对话状态追踪器的联合目标准确率（JGA）从 53.7% 提升至 54.7%，且具有统计显著性（p < 0.02）。
• 结果证实，情绪标签能为对话状态追踪提供有意义的监督信号，尤其在检测用户挫败感和不满方面表现突出，这对任务完成至关重要。