[论文解读] A First Step in Combining Cognitive Event Features and Natural Language Representations to Predict Emotions

Andres Campero, Bjarke Felbo+2 more|arXiv (Cornell University)|Oct 23, 2017

Topic Modeling参考文献 4被引用 3

一句话总结

本文提出了一种多任务学习框架，将评估理论中的认知评估特征与预训练自然语言表征（如 DeepMoji）相结合，以提升细粒度情绪预测性能。通过联合训练情绪、表情符号和评估预测任务，该模型实现了人类水平的性能（准确率为65%），并且其表征相似性结构比仅使用人工标注的评估特征更接近心智化脑区的神经活动。

ABSTRACT

We explore the representational space of emotions by combining methods from different academic fields. Cognitive science has proposed appraisal theory as a view on human emotion with previous research showing how human-rated abstract event features can predict fine-grained emotions and capture the similarity space of neural patterns in mentalizing brain regions. At the same time, natural language processing (NLP) has demonstrated how transfer and multitask learning can be used to cope with scarcity of annotated data for text modeling. The contribution of this work is to show that appraisal theory can be combined with NLP for mutual benefit. First, fine-grained emotion prediction can be improved to human-level performance by using NLP representations in addition to appraisal features. Second, using the appraisal features as auxiliary targets during training can improve predictions even when only text is available as input. Third, we obtain a representation with a similarity matrix that better correlates with the neural activity across regions. Best results are achieved when the model is trained to simultaneously predict appraisals, emotions and emojis using a shared representation. While these results are preliminary, the integration of cognitive neuroscience and NLP techniques opens up an interesting direction for future research.

研究动机与目标

• 将认知科学中的评估理论与现代自然语言处理技术相结合，以改善情绪表征。
• 通过利用迁移学习与多任务学习缓解情绪预测中的数据稀缺问题。
• 评估联合建模评估、情绪与表情符号是否能提升表征质量与神经相似性。
• 确定在结合认知特征时，自然语言处理表征是否能增强情绪预测性能。
• 评估多任务训练是否能产生与心智化脑区神经模式更相关联的表征。

提出的方法

• 微调一个预训练的 DeepMoji 模型，从200个情绪强烈的叙事中提取上下文相关的文本表征。
• 将这些自然语言处理表征与来自认知科学的38个手动标注的评估特征相结合。
• 训练一个多任务模型，通过共享表征同时预测情绪、表情符号并重建评估特征。
• 采用共享表征层后接三个独立分支：一个用于情绪分类，一个用于表情符号预测，一个用于评估重建。
• 对评估重建使用均方误差损失，对情绪与表情符号分类使用交叉熵损失。
• 通过线性SVM评估情绪分类性能，并使用表征差异矩阵（RDM）比较模型表征与fMRI神经数据。

实验结果

研究问题

• RQ1 将自然语言处理表征与认知评估特征结合，是否能超越当前最先进基线，提升细粒度情绪预测性能？
• RQ2 在仅使用文本的情况下，仅将评估特征作为训练中的辅助目标，是否能提升情绪预测性能？
• RQ3 通过情绪、表情符号与评估预测的多任务学习，是否能生成更匹配心智化脑区神经模式的表征？
• RQ4 模型输出的表征相似性与人工标注的评估特征及神经数据相比如何？
• RQ5 从大规模表情符号预测迁移学习，是否能提升低资源情绪分类任务的性能？

主要发现

• 当结合自然语言处理表征与评估特征时，多任务模型在情绪预测上达到了64%的准确率，接近人类水平性能（65%）。
• 即使评估特征仅在训练期间作为辅助目标使用，该模型在仅使用文本的情况下仍实现了42%的准确率，显著优于基线模型。
• 多任务模型的表征差异矩阵（RDM）与心智化（ToM）脑区活动的 Kendall’s tau 为0.29，优于 DeepMoji（0.25）与仅使用评估特征（0.27）。
• 多任务模型的表征与RTPJ（0.27）和ToM网络（0.29）的神经模式相关性更强，优于人工标注的评估特征（0.27）。
• 在所有三个任务（情绪、表情符号、评估）上联合训练的模型，其表征更准确地捕捉了心智化脑区的相似性结构，优于任何单一模态方法。
• 自然语言处理表征与评估特征的结合使情绪分类性能相比最佳基线提升了7%（基线 DeepMoji 为53%，多任务模型为64%）。