[论文解读] Cross-lingual Emotion Intensity Prediction

Irean Navas Alejo, Toni Badía+1 more|arXiv (Cornell University)|Apr 8, 2020

Sentiment Analysis and Opinion Mining参考文献 38被引用 4

一句话总结

本文提出了首个跨语言情绪强度预测方法，通过机器翻译和跨语言嵌入，将英语的情绪强度回归任务迁移至西班牙语和加泰罗尼亚语。令人惊讶的是，无监督机器翻译在性能上优于有监督翻译和跨语言嵌入方法，主要归因于其对情绪相关话题标签的更好处理。作者还发布了新的标注数据集和代码，以供未来研究使用。

ABSTRACT

Emotion intensity prediction determines the degree or intensity of an emotion that the author expresses in a text, extending previous categorical approaches to emotion detection. While most previous work on this topic has concentrated on English texts, other languages would also benefit from fine-grained emotion classification, preferably without having to recreate the amount of annotated data available in English in each new language. Consequently, we explore cross-lingual transfer approaches for fine-grained emotion detection in Spanish and Catalan tweets. To this end we annotate a test set of Spanish and Catalan tweets using Best-Worst scaling. We compare six cross-lingual approaches, e.g., machine translation and cross-lingual embeddings, which have varying requirements for parallel data -- from millions of parallel sentences to completely unsupervised. The results show that on this data, methods with low parallel-data requirements perform surprisingly better than methods that use more parallel data, which we explain through an in-depth error analysis. We make the dataset and the code available at \url{https://github.com/jerbarnes/fine-grained_cross-lingual_emotion}

研究动机与目标

• 为解决西班牙语和加泰罗尼亚语等低资源语言中缺乏细粒度情绪强度数据集的问题。
• 评估跨语言迁移方法在情绪强度预测中的表现，尽量减少对平行数据的依赖。
• 探究在低资源环境下，无监督或有监督机器翻译与跨语言嵌入方法中哪一种表现更优。
• 发布一个新的西班牙语和加泰罗尼亚语推文标注数据集，包含情绪强度评分，以供未来研究使用。

提出的方法

• 使用最佳-最差标度法对西班牙语和加泰罗尼亚语推文测试集进行标注，以获得细粒度的情绪强度评分。
• 评估六种跨语言迁移方法：包含数百万句平行语句的有监督机器翻译、无监督机器翻译，以及不同平行数据需求的跨语言嵌入方法。
• 在英语情绪强度数据上训练回归模型，并通过翻译或嵌入对齐实现跨语言迁移。
• 使用n-gram、字符、表情符号、话题标签、情绪词典和情感词典特征以提升模型性能。
• 进行消融研究以评估特征重要性，特别是情感和情绪词典特征的作用。
• 进行定性和定量的错误分析，以比较不同模型在翻译质量与特征相关性方面的表现。

实验结果

研究问题

• RQ1 在低资源语言中，哪种跨语言迁移方法——有监督翻译、无监督翻译或跨语言嵌入——在情绪强度预测中表现最佳？
• RQ2 平行数据的可用性如何影响跨语言情绪强度预测中的模型性能？
• RQ3 为何无监督机器翻译尽管整体翻译质量较低，却仍优于有监督翻译？
• RQ4 话题标签在多大程度上促进情绪强度预测？不同翻译方法对话题标签的保留效果如何？
• RQ5 情感和情绪词典特征在跨语言情绪强度建模中有多关键？

主要发现

• 无监督机器翻译在西班牙语和加泰罗尼亚语中所有情绪类别上均表现最佳，优于有监督翻译和跨语言嵌入方法。
• 无监督模型的优越性能主要归因于其对话题标签的出色保留能力，而话题标签在社交媒体文本中是情绪强度的关键线索。
• 尽管有监督翻译的整体翻译质量更高，但其表现较差，原因在于频繁无法正确翻译话题标签，而话题标签承载了关键情绪线索。
• 词典特征——尤其是NRC情感词典——是最重要的特征，移除后跨语言模型的性能降至随机水平。
• n-gram特征对愤怒、恐惧和喜悦的预测最具影响力，但其移除有时反而提升了悲伤情绪的预测性能，表明这些特征可能存在冗余或噪声。
• XLM-RoBERTa的性能几乎与最佳跨语言方法相当，但无法与英语词典特征结合使用，限制了其在此设置下的实用性。