[论文解读] EmoInHindi: A Multi-label Emotion and Intensity Annotated Dataset in Hindi for Emotion Recognition in Dialogues

Gopendra Vikram Singh, Priyanshu Priya+3 more|arXiv (Cornell University)|May 27, 2022

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本论文提出了EmoInHindi，一个大规模的多标签情感与强度标注数据集，包含1,814段印地语对话（共44,247句话语），通过Wizard-of-Oz框架构建，用于心理健康和法律咨询场景。该研究提出了基于C-Fourier-Transformer和C-Attention-Transformer模型的强上下文基线，其在单标签情感与强度识别任务上取得了66.24%的F1分数新SOTA表现，显著推进了低资源语言对话中情感识别的发展。

ABSTRACT

The long-standing goal of Artificial Intelligence (AI) has been to create human-like conversational systems. Such systems should have the ability to develop an emotional connection with the users, hence emotion recognition in dialogues is an important task. Emotion detection in dialogues is a challenging task because humans usually convey multiple emotions with varying degrees of intensities in a single utterance. Moreover, emotion in an utterance of a dialogue may be dependent on previous utterances making the task more complex. Emotion recognition has always been in great demand. However, most of the existing datasets for multi-label emotion and intensity detection in conversations are in English. To this end, we create a large conversational dataset in Hindi named EmoInHindi for multi-label emotion and intensity recognition in conversations containing 1,814 dialogues with a total of 44,247 utterances. We prepare our dataset in a Wizard-of-Oz manner for mental health and legal counselling of crime victims. Each utterance of the dialogue is annotated with one or more emotion categories from the 16 emotion classes including neutral, and their corresponding intensity values. We further propose strong contextual baselines that can detect emotion(s) and the corresponding intensity of an utterance given the conversational context.

研究动机与目标

• 为解决印地语等低资源印度语言中缺乏大规模、多标签、带强度标注的对话数据集的问题。
• 实现在对话中上下文感知的情感识别，其中情感状态依赖于先前话语。
• 开发用于检测印地语话语中多种情感及其强度（0–3）的鲁棒神经基线。
• 支持在心理健康和法律咨询等敏感领域中，开发具备情感智能的对话代理。
• 为低资源语言环境下的多标签情感与强度识别建立基准。

提出的方法

• 使用Wizard-of-Oz框架收集数据，模拟心理健康和法律支持场景中用户与咨询师之间的真实对话。
• 每句话语均被标注一个或多个16种情感类别（如喜悦、悲伤、愤怒）及其在0–3尺度上的强度值。
• 所提出的模型采用两层Transformer编码器，使用300维嵌入表示，并采用Adam优化，初始初始学习率为0.003。
• 评估了两种主要模型：C-Attention-Transformer与C-Fourier-Transformer，两者均使用负对数似然损失，并在30个周期后启用早停策略。
• 模型在处理当前话语的同时，结合其对话历史（至t−1）以预测多标签情感与强度输出。
• 通过网格搜索调整超参数，训练时批量大小设为32。

实验结果

研究问题

• RQ1 能否通过Wizard-of-Oz方法有效构建用于印地语对话的大规模、多标签、带强度标注的数据集？
• RQ2 上下文模型在识别印地语对话文本中的多种情感及其强度方面表现如何？
• RQ3 强神经基线与现有方法在低资源语言情感识别中的性能差距有多大？
• RQ4 在印地语对话中，引入对话历史如何提升情感与强度预测性能？
• RQ5 情感识别中的主要失败模式是什么，特别是由于词汇歧义或情感语境突变导致的？

主要发现

• C-Fourier-Transformer模型在单标签情感与强度识别任务上取得了66.24%的最高F1分数，优于所有基线模型。
• C-Fourier-Transformer模型的精确率为65.98%，召回率为66.52%，F1分数为66.24%，相比bc-LSTM基线模型提升了6.82个百分点。
• 在多标签情感预测任务中，C-Fourier-Transformer模型的汉明损失（Hamming Loss）为0.055%，Jaccard指数为0.055%，在两项指标上均优于其他模型。
• 与先前方法相比，该模型实现了显著性能提升：准确率提高6.19个百分点，F1分数提高6.82个百分点，召回率提高6.8个百分点。
• 错误分析显示，模型有时会因情感强烈词汇（如与喜悦关联的“dear”）而误分类情感，即使上下文提示相反含义。
• 数据集EmoInHindi是目前公开可用的、规模最大的带多标签情感与强度标注的印地语对话数据集，包含1,814段对话和44,247句话语。