[论文解读] Fine-grained Emotion and Intent Learning in Movie Dialogues

Anuradha Welivita, Yubo Xie+1 more|arXiv (Cornell University)|Dec 25, 2020

Sentiment Analysis and Opinion Mining参考文献 27被引用 4

一句话总结

本文提出了OSED，一个包含100万条电影对话语料的大规模数据集，通过基于BERT的半监督分类器对这些语料进行了32种细粒度情绪和9种共情回应意图的标注。该方法结合人类计算与自标注流程，显著降低了人工标注成本，在情绪分类任务上达到了65%的准确率，构建了一个高质量的数据集，能够真实反映人类社交互动中的情绪-意图交互模式。

ABSTRACT

We propose a novel large-scale emotional dialogue dataset, consisting of 1M dialogues retrieved from the OpenSubtitles corpus and annotated with 32 emotions and 9 empathetic response intents using a BERT-based fine-grained dialogue emotion classifier. This work explains the complex pipeline used to preprocess movie subtitles and select good movie dialogues to annotate. We also describe the semi-supervised learning process followed to train a fine-grained emotion classifier to annotate these dialogues. Despite the large set of labels, our dialogue emotion classifier achieved an accuracy of $65\%$ and was used to annotate 1M emotional movie dialogues from OpenSubtitles. This scale of emotional dialogue classification has never been attempted before, both in terms of dataset size and fine-grained emotion and intent categories. Visualization techniques used to analyze the quality of the resultant dataset suggest that it conforms to the patterns of human social interaction.

研究动机与目标

• 为训练共情对话代理解决缺乏大规模、细粒度情绪对话语料且包含多样化回应意图的问题。
• 通过结合人类计算与半监督学习，降低对细粒度情绪与共情回应意图进行标注的成本与复杂性。
• 创建一个通用、可扩展的数据集，真实反映人类社交对话中情绪-意图交互的典型模式。
• 通过可视化情绪-意图流动模式，对比已知的人类互动动态，评估自动化标注的质量。
• 推动开发更具可控性、可解释性以及情绪响应能力更强的神经聊天机器人。

提出的方法

• 从OpenSubtitles语料库中预处理电影字幕，通过自动话轮与对话分割提取约900万条初始对话语料，清洗与去重后缩减至400万条。
• 应用弱标签模型EmoBERT——一个在EmpatheticDialogues数据集上预训练的基于BERT的句子级分类器——筛选出100万条情绪显著的对话（OSED初始集）。
• 采用包含自标注与句子相似性技术的半监督学习流程，将EmoBERT优化为EmoBERT+，提升分类性能。
• 在OSED初始集上训练EmoBERT+，生成最终的100万条OSED数据集，每条语句包含32种细粒度情绪与9种共情回应意图。
• 通过情绪-意图流动模式的可视化分析验证标注质量，与先前研究中已知的人类社交互动模式进行对比。
• 发布OSED数据集与训练好的EmoBERT+模型，以支持共情对话系统的研究。

实验结果

研究问题

• RQ1 基于BERT的半监督方法是否能在大规模场景下实现高质量、细粒度的情绪与意图标注，从而减少对昂贵人工标注的依赖？
• RQ2 OSED数据集中的情绪-意图模式是否真实反映了现实世界中的人类社交互动动态，特别是共情回应策略？
• RQ3 与传统模型如FastText相比，EmoBERT+分类器在细粒度情绪与共情意图分类上的表现如何？
• RQ4 OSED数据集在多大程度上支持开发更具可控性与可解释性的神经聊天机器人，以应对社交闲聊场景？
• RQ5 通过众包标注，是否涌现出超越中性或基础情绪镜像反应的新型共情回应意图？

主要发现

• EmoBERT+分类器在32种情绪类别与9种共情回应意图上的细粒度情绪分类任务中达到了65%的准确率，尽管标签复杂度极高，仍表现出强劲性能。
• 对OSED中情绪-意图流动模式的可视化分析显示，在情绪表达之后，提问是最常见的后续回应意图，与先前关于人类互动的研究发现一致。
• 情绪表达后常伴随具有相似情绪的回应——例如，喜悦之后常接兴奋或满足——表明存在情绪传染现象，这与EmpatheticDialogues等精选数据集中常见的中性回应形成鲜明对比。
• OSED数据集包含100万条对话，具有丰富且多样的情绪与意图标注，是目前同类数据集中规模最大的细粒度标注数据集。
• 半监督流程显著降低了人工标注成本，同时通过与人类社交行为一致的模式验证了标注质量。
• 本研究识别出Greeting（问候）、Commanding（命令）、Accusing（指责）等新型回应意图，揭示了现实世界中听者回应的复杂性，远超简单的镜像或中性反应。