[论文解读] EmotionLines: An Emotion Corpus of Multi-Party Conversations

Sheng-Yeh Chen, Chao-Chun Hsu+4 more|arXiv (Cornell University)|Feb 23, 2018

Sentiment Analysis and Opinion Mining参考文献 12被引用 84

一句话总结

EmotionLines 提供一个数据集，包含来自 Friends 剧本和私有 Facebook Messenger 聊天对话的每句话情感标签，基线结果表明上下文建模能够提升情感检测。

ABSTRACT

Feeling emotion is a critical characteristic to distinguish people from machines. Among all the multi-modal resources for emotion detection, textual datasets are those containing the least additional information in addition to semantics, and hence are adopted widely for testing the developed systems. However, most of the textual emotional datasets consist of emotion labels of only individual words, sentences or documents, which makes it challenging to discuss the contextual flow of emotions. In this paper, we introduce EmotionLines, the first dataset with emotions labeling on all utterances in each dialogue only based on their textual content. Dialogues in EmotionLines are collected from Friends TV scripts and private Facebook messenger dialogues. Then one of seven emotions, six Ekman's basic emotions plus the neutral emotion, is labeled on each utterance by 5 Amazon MTurkers. A total of 29,245 utterances from 2,000 dialogues are labeled in EmotionLines. We also provide several strong baselines for emotion detection models on EmotionLines in this paper.

研究动机与目标

• 动机：在对话中不仅仅对单句话，也需要上下文情感标注。
• 创建一个大规模的情感对话语料库，为所有话语提供七个标签（六个Ekman基础情感加中性）。
• 来源于 Friends 电视剧本和 EmotionPush 聊天日志，以捕捉真实世界的对话流。
• 提供强有力的基线和对话情感检测的基准。

提出的方法

• 从 Friends TV 脚本和 EmotionPush 私聊中收集数据，形成 2,000 份对话，共 29,245 句。
• 使用 Amazon Mechanical Turk 对每句话进行人工标注，每句话 5 名工人，选多数标签作为 gold；若一句话存在多种情感，则归入非中性类别。
• 通过对人名/实体进行掩码和手动改写好友引用，对私有数据进行去识别化处理。
• 数据格式为每句包含说话者、内容和情感标签。
• 在对话数据上使用 CNN 和 CNN-BiLSTM 模型进行基线情感检测实验。
• 使用加权准确率 (WA) 和非加权准确率 (UWA) 进行评估。

实验结果

研究问题

• RQ1 在对话中结合上下文信息是否比单句模型提升句子级情感识别？
• RQ2 EmotionLines 的标签分布和标注质量（跨标注者的一致性）是多少？
• RQ3 在两个数据源（Friends 和 EmotionPush）上，CNN 与 CNN-BiLSTM 基线在 WA 和 UWA 的表现如何？
• RQ4 数据集特征及用于训练、开发和测试的划分是什么？

主要发现

• 该数据集包含 29,245 句来自 2,000 份对话（Friends 和 EmotionPush）。
• 跨标注者一致性（Fleiss’ kappa）在两个来源上均高于 0.33，表明标注质量稳健。
• 上下文建模提升性能：在两个数据集上，CNN-BiLSTM 的 WA 和 UWA 均高于 CNN。
• 加权准确率的提升：Friends 数据集从 59.2%（CNN）提升到 63.9%（CNN-BiLSTM）；EmotionPush 从 71.5%（CNN）提升到 77.4%（CNN-BiLSTM）。
• EmotionLines 已发布，计划在下载页面更新去识别化数据。