[论文解读] AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification

Yanghoon Kim, Hwanhee Lee+1 more|arXiv (Cornell University)|Apr 3, 2018

Sentiment Analysis and Opinion Mining参考文献 12被引用 8

一句话总结

本文提出了一种基于注意力机制的卷积神经网络（AttnConvnet），用于社交媒体文本中的多标签情感分类，其灵感源自人类的两步处理过程：理解然后标注。通过整合自注意力机制以学习上下文表征、表情符号转语义的预处理方法以及NRC情感词典的融合，该模型在SemEval-2018任务1中取得了最先进性能，英文任务排名第五，西班牙语任务排名第一。

ABSTRACT

In this paper, we propose an attention-based classifier that predicts multiple emotions of a given sentence. Our model imitates human's two-step procedure of sentence understanding and it can effectively represent and classify sentences. With emoji-to-meaning preprocessing and extra lexicon utilization, we further improve the model performance. We train and evaluate our model with data provided by SemEval-2018 task 1-5, each sentence of which has several labels among 11 given sentiments. Our model achieves 5-th/1-th rank in English/Spanish respectively.

研究动机与目标

• 开发一种深度学习模型，以有效分类短文本中多种情感，这些文本通常来自社交媒体且噪声较大。
• 通过引入任务特定的预处理方法和外部资源，提升在低资源场景下的多标签情感分类性能。
• 通过将句子理解与情感分类分离为两个独立阶段，模拟人类的认知处理过程。
• 评估表情符号转语义转换、自注意力机制以及外部词典对模型性能的影响。

提出的方法

• 该模型使用自注意力模块，通过从词嵌入中计算查询、键和值向量，学习上下文相关的句子表征。
• 对11种情感类别分别应用多个独立的一维卷积网络，实现在每种情感上的并行分类。
• 表情符号转语义预处理将表情符号替换为其语义等价物，以增强情感信号的表征。
• 采用预训练的GloVe（英文）和fastText（西班牙语）词嵌入，以应对数据稀疏问题。
• 通过将词级别的情感分数拼接至池化层输出，将NRC情感词典特征整合进模型。
• 利用预训练模型生成合成数据并进行微调，但该方法带来的收益有限。

实验结果

研究问题

• RQ1 表情符号转语义预处理对多标签情感分类性能有何影响？
• RQ2 自注意力机制在多标签情感分类中对表征学习的提升程度如何？
• RQ3 外部资源（如情感词典和合成数据）能否增强模型在低资源数据集上的泛化能力？
• RQ4 集成学习在SemEval-2018多标签情感分类基准上如何提升性能？

主要发现

• 表情符号转语义预处理使测试准确率提升了1%，从54.91%上升至55.90%。
• 移除自注意力模块导致测试准确率下降超过4%，从55.90%降至51.60%。
• 结合NRC词典与二值化的词级别标签（AC + nrc2）使测试准确率达到56.40%。
• 九个AC + nrc2模型的集成实现了最高性能：英文验证准确率为59.76%，测试准确率为57.40%。
• 合成数据生成未提升性能，反而轻微降低了测试准确率，表明可能存在过拟合。
• 该模型在SemEval-2018任务1的排行榜中，英文排名第五，西班牙语排名第一。