[论文解读] A Multi-task Ensemble Framework for Emotion, Sentiment and Intensity Prediction

Md Shad Akhtar, Deepanway Ghosal+3 more|arXiv (Cornell University)|Aug 3, 2018

Sentiment Analysis and Opinion Mining参考文献 30被引用 33

一句话总结

该论文提出了一种多任务集成框架，通过卷积神经网络（CNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）以及手工设计特征，联合预测情绪、情感和强度。该模型在多个数据集上相较单任务系统平均F1得分提升2–3个百分点，展现出在粗粒度情绪分类、细粒度情绪分析（效价、唤醒度、支配感）以及细粒度情感分析（效价、唤醒度）方面的优越性能。

ABSTRACT

In this paper, through multi-task ensemble framework we address three problems of emotion and sentiment analysis i.e. "emotion classification & intensity", "valence, arousal & dominance for emotion" and "valence & arousal} for sentiment". The underlying problems cover two granularities (i.e. coarse-grained and fine-grained) and a diverse range of domains (i.e. tweets, Facebook posts, news headlines, blogs, letters etc.). The ensemble model aims to leverage the learned representations of three deep learning models (i.e. CNN, LSTM and GRU) and a hand-crafted feature representation for the predictions. Experimental results on the benchmark datasets show the efficacy of our proposed multi-task ensemble frameworks. We obtain the performance improvement of 2-3 points on an average over single-task systems for most of the problems and domains.

研究动机与目标

• 通过引入强度和连续尺度的效价/唤醒度预测，解决粗粒度情绪与情感分类的局限性。
• 通过联合学习多个相关任务（情绪分类与强度、细粒度情绪维度（效价、唤醒度、支配感）、细粒度情感（效价、唤醒度））来提升泛化能力与性能。
• 通过集成架构同时利用深度神经网络表征与手工设计特征，以增强预测准确性。
• 证明多任务学习在减少模型复杂度的同时，提升在多样化领域（推文、Facebook动态、新闻、博客）中性能的有效性。

提出的方法

• 分别训练三个独立的深度神经网络——卷积神经网络（CNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）——以从文本中提取上下文表征。
• 将CNN、LSTM和GRU学习到的表征与手工设计的特征向量结合，形成单个输入，输入至多层感知机（MLP）集成网络。
• 使用MLP在一次前向传播中联合预测多个输出：(1) 情绪类别与强度（分类 + 回归），(2) 效价与唤醒度（回归），(3) 效价、唤醒度与支配感（回归）。
• 通过任务间共享表征，端到端优化集成模型，以提升泛化能力并减少过拟合。
• 应用多任务学习以挖掘相关任务之间的相关性（如情绪强度与效价），从而增强特征学习。
• 训练过程中使用早停法与Dropout防止过拟合，并通过10折交叉验证进行稳健评估。

实验结果

研究问题

• RQ1 多任务集成框架是否能通过联合学习相关任务（如情绪分类与强度、连续尺度的效价/唤醒度预测）来提升情绪与情感分析的性能？
• RQ2 将深度学习表征（CNN、LSTM、GRU）与手工设计特征结合，对不同情绪与情感任务的预测准确性有何影响？
• RQ3 在情绪与情感强度预测方面，多任务学习相较于单任务学习在F1分数与皮尔逊相关系数上的提升程度如何？
• RQ4 多任务预测中的主要错误模式是什么？这些错误在推文、Facebook动态与新闻标题等不同领域中是否存在差异？
• RQ5 所提出的框架是否能在无需任务特定微调的情况下，泛化至多样化领域与不同任务粒度（粗粒度 vs. 细粒度）？

主要发现

• 该多任务集成框架在所有情绪与情感预测任务中，相较单任务系统平均F1得分提升2–3个百分点。
• 在Facebook动态数据集的细粒度情感分析中，模型在效价上的皮尔逊相关系数达到0.727，唤醒度为0.355，优于先前最先进方法（效价为0.650），在效价预测方面实现显著提升。
• 通过多任务训练学习到更具判别性的表征，有效减少了相似情绪类别（尤其是恐惧与悲伤）之间的混淆。
• 错误分析显示，隐喻性语句、习语表达、隐含情绪以及强烈情绪表达是预测错误的主要来源。
• 统计显著性检验（t检验）表明，10次运行中性能提升均具有显著性（p < 0.05），验证了所提方法的稳健性。
• 该框架可适配多标签情绪分类任务，但由于数据不可得，未在多情绪数据集上进行评估。