[论文解读] Decision support with text-based emotion recognition: Deep learning for affective computing

Bernhard Kratzwald, Suzana Ilić+3 more|arXiv (Cornell University)|Mar 16, 2018

Sentiment Analysis and Opinion Mining参考文献 65被引用 18

一句话总结

本文提出一种基于循环神经网络（RNNs）与迁移学习的深度学习方法，以提升情感计算中决策支持的文本情感识别性能。该方法在情感分类和情感强度预测方面表现更优，F1得分最高提升21%，预测误差降低6%，显著优于传统方法。

ABSTRACT

Emotions widely affect the decision-making of humans and, hence, affective computing takes emotional states into account with the goal of tailoring decision support to individuals. However, the accurate recognition of emotions within narrative materials presents a challenging undertaking due to the complexity and ambiguity of language. Even though deep learning has evolved as the state-of-the-art in various tasks from text mining, its benefits with regard to affective computing are not yet understood. We thus propose the following innovations: (1) we adapt recurrent neural networks from the field of deep learning to affective computing. (2) We extend these networks for predicting the score of different affective dimensions. (3) We implement transfer learning for pre-training word embeddings. Analyzing the results, we find that deep learning consistently outperforms traditional machine learning with improvements of up to 21% in F1-score when labeling emotions and 6% in forecast errors when rating the intensity of emotions. Altogether, the findings have considerable implications for the use of affective computing in providing decision support.

研究动机与目标

• 解决由于语言细微差别导致的叙事性文本情感识别困难且模糊的问题。
• 将深度学习技术，特别是循环神经网络，应用于情感计算领域以提升情感检测性能。
• 扩展RNN以预测多个情感维度的得分，如情感强度和效价。
• 采用迁移学习对词嵌入进行预训练，以增强模型的泛化能力和性能。
• 评估深度学习在情感计算任务中相较于传统机器学习方法的有效性。

提出的方法

• 将循环神经网络（RNNs）从深度学习框架中适配，用于建模文本情感数据中的序列依赖关系。
• 扩展RNN架构以预测多个情感维度的连续得分，实现对情感强度的细粒度估计。
• 应用迁移学习，利用大规模语料库对词嵌入进行预训练，提升情感分类的表征学习能力。
• 在叙事性文本上端到端训练模型，将输入序列映射为情感维度得分。
• 采用标准指标（如情感标签的F1得分和强度预测的预测误差）评估性能。
• 与传统机器学习基线模型进行对比实验，评估深度学习方法的相对性能提升。

实验结果

研究问题

• RQ1 循环神经网络能否有效识别叙事性文本中的情感，且优于传统机器学习方法？
• RQ2 词嵌入预训练中采用迁移学习在多大程度上提升了情感识别性能？
• RQ3 深度学习模型在预测多个情感维度（如强度和效价）的连续得分方面表现如何？
• RQ4 与传统方法相比，深度学习在情感计算中实现的F1得分和预测误差分别提升了多少？

主要发现

• 与传统机器学习方法相比，深度学习模型在情感分类中的F1得分最高提升21%。
• 在预测情感强度时，所提方法使预测误差降低6%，表明回归性能得到改善。
• 词嵌入预训练中的迁移学习显著提升了模型的泛化能力和准确性。
• 扩展的RNN架构成功捕捉了文本中的序列模式，能够有效预测多维情感状态。
• 在情感标注和强度预测任务中均观察到一致的性能提升，验证了该方法的鲁棒性。