[论文解读] ArmanEmo: A Persian Dataset for Text-based Emotion Detection

Hossein Mirzaee, Javad Peymanfard+2 more|arXiv (Cornell University)|Jul 24, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本论文介绍了ArmanEmo，一个高质量、人工标注的波斯语文本情感数据集，包含超过7,000个句子，标注了七种情感，包括Ekman的六种基本情感和一个'其他'类别。作者在ArmanEmo上训练了先进的基于Transformer的模型，取得了75.39的宏平均F1分数，并通过迁移学习证明，与现有的波斯语情感数据集（如EmoPars）相比，ArmanEmo具有显著更好的泛化能力。

ABSTRACT

With the recent proliferation of open textual data on social media platforms, Emotion Detection (ED) from Text has received more attention over the past years. It has many applications, especially for businesses and online service providers, where emotion detection techniques can help them make informed commercial decisions by analyzing customers/users' feelings towards their products and services. In this study, we introduce ArmanEmo, a human-labeled emotion dataset of more than 7000 Persian sentences labeled for seven categories. The dataset has been collected from different resources, including Twitter, Instagram, and Digikala (an Iranian e-commerce company) comments. Labels are based on Ekman's six basic emotions (Anger, Fear, Happiness, Hatred, Sadness, Wonder) and another category (Other) to consider any other emotion not included in Ekman's model. Along with the dataset, we have provided several baseline models for emotion classification focusing on the state-of-the-art transformer-based language models. Our best model achieves a macro-averaged F1 score of 75.39 percent across our test dataset. Moreover, we also conduct transfer learning experiments to compare our proposed dataset's generalization against other Persian emotion datasets. Results of these experiments suggest that our dataset has superior generalizability among the existing Persian emotion datasets. ArmanEmo is publicly available for non-commercial use at https://github.com/Arman-Rayan-Sharif/arman-text-emotion.

研究动机与目标

• 为自然语言处理研究解决高质量、人工标注的波斯语文本情感数据集稀缺的问题。
• 通过深度学习提升波斯语文本情感检测的性能与泛化能力。
• 为未来波斯语情感检测研究提供基准数据集和强大的基线模型。
• 通过迁移学习评估ArmanEmo相对于现有波斯语情感数据集的泛化能力。
• 支持波斯语情感感知应用的发展，如客户情绪分析和情感智能聊天机器人。

提出的方法

• 从多种来源（包括Twitter、Instagram和伊朗电商平台Digikala）收集了超过7,000个波斯语文本样本。
• 采用严格的人员标注流程，制定清晰的标注指南，仅保留具有主导情感（至少3名标注者评分≥3分，满分为5分）的句子，以减少噪声。
• 采用基于Ekman六种基本情感（愤怒、恐惧、快乐、憎恨、悲伤、惊奇）加一个'其他'类别的七分类情感框架。
• 在ArmanEmo数据集上训练了多种先进的基于Transformer的模型，包括XLM-RoBERTa-large和ParsBERT，用于情感分类。
• 使用XLM-EMO（一种多语言情感模型）进行零样本评估，以在未对波斯语数据进行微调的情况下评估性能。
• 开展迁移学习实验，比较在ArmanEmo和EmoPars上微调的模型性能，通过在两个测试集上的评估来衡量泛化能力。

实验结果

研究问题

• RQ1 在ArmanEmo上训练的情感检测模型与在现有波斯语情感数据集（如EmoPars）上训练的模型相比，性能如何？
• RQ2 与其它波斯语情感数据集相比，ArmanEmo在未见数据上的泛化能力如何？
• RQ3 像XLM-EMO这样的多语言情感模型是否能在未对波斯语情感数据进行微调的情况下，实现与波斯语文本竞争的性能？
• RQ4 标签质量和标注一致性对低资源情感检测任务中模型泛化能力的影响有多大？
• RQ5 最先进的基于Transformer的模型在检测低资源、词形丰富的语言（如波斯语）中的情感时，效果如何？

主要发现

• 在ArmanEmo上表现最佳的模型XLM-RoBERTa-large在测试集上取得了75.39的宏平均F1分数。
• 在EmoPars测试集上评估时，微调于ArmanEmo的模型性能比微调于EmoPars的模型高出超过19个百分点（26.68 vs. 6.96 F1）。
• ArmanEmo在泛化能力方面优于EmoPars，这在ArmanEmo和EmoPars测试集上的显著更优表现中得到证实。
• XLM-EMO在ArmanEmo上的零样本性能为75.28 F1，表明其在无波斯语微调的情况下仍具有强大的跨语言迁移能力。
• 在EmoPars上训练的模型在EmoPars测试集上表现极差（F1为6.96），表明该数据集因众包标注方法而存在较高的标签噪声。
• ArmanEmo中严格的标注流程——筛选主导情感并剔除模糊或多重标注的样本——产生了更清洁、更高品质的数据集，从而带来了更好的下游性能。