[论文解读] Leveraging Sparse and Dense Feature Combinations for Sentiment Classification

Tao Yu, Christopher Hidey+2 more|arXiv (Cornell University)|Aug 13, 2017

Sentiment Analysis and Opinion Mining参考文献 11被引用 5

一句话总结

该论文提出了一种简单但强大的情感分类模型，结合了稀疏n-gram特征与按词性（POS）标签分组的密集词嵌入，并使用逻辑回归分类器。该方法在多个基准测试中实现了接近最先进水平的性能，在大多数数据集上优于复杂的深度学习模型，同时保持了快速且易于训练的特点。

ABSTRACT

Neural networks are one of the most popular approaches for many natural language processing tasks such as sentiment analysis. They often outperform traditional machine learning models and achieve the state-of-art results on most tasks. However, many existing deep learning models are complex, difficult to train and provide a limited improvement over simpler methods. We propose a simple, robust and powerful model for sentiment classification. This model outperforms many deep learning models and achieves comparable results to other deep learning models with complex architectures on sentiment analysis datasets. We publish the code online.

研究动机与目标

• 开发一种轻量级、高性能的情感分类模型，避免深度神经网络的复杂性和训练负担。
• 探究将稀疏词袋特征与密集词嵌入结合是否能超越传统NBSVM的情感分类性能。
• 评估按词性（POS）标签对词嵌入进行分组对模型性能的影响。
• 从准确率和训练效率两个方面，将所提方法与最先进深度学习模型进行比较。
• 提供一种实用且易于部署的情感分析基线模型，其性能优于简单的线性模型，且无需复杂架构。

提出的方法

• 该模型采用朴素贝叶斯支持向量机（NBSVM）框架，通过计算每个类别中n-gram的对数频次比，形成稀疏特征向量。
• 将句子中所有词的词嵌入取平均，形成稠密向量，并通过按词性标签（NOUN、VERB、ADJECTIVE）分组生成额外的稠密向量。
• 对于推特情感数据集（TTwt），还额外计算目标词的平均嵌入向量，以实现依赖目标的情感分类。
• 逻辑回归分类器的最终输入为稀疏NBSVM特征向量与所有稠密嵌入向量（包括按词性分组和平均嵌入）的拼接结果。
• 使用预训练的Google word2vec词嵌入，所有模型均采用Kim（2014）中的相同预处理步骤。
• 使用逻辑回归在稀疏与稠密特征表示的组合上进行模型训练。

实验结果

研究问题

• RQ1 将稀疏n-gram特征与密集词嵌入结合，是否能超越标准NBSVM的情感分类性能？
• RQ2 按词性标签对词嵌入进行分组是否能在情感分类中带来显著的性能提升？
• RQ3 与AdaSent和BLSTM-2DPooling等复杂深度学习架构相比，该模型在准确率和训练效率方面表现如何？
• RQ4 是否可以通过工程化特征的简单线性模型，在情感分类基准上达到或超过更复杂神经网络的性能？
• RQ5 在情感分类任务中，使用词性标注的嵌入是否优于原始平均嵌入？

主要发现

• 在MR数据集上，NBLR + POSwemb模型达到81.6%的准确率，比原始NBSVM（79.4%）高出2.2个百分点。
• 在CR数据集上，该模型达到84.0%的准确率，比NBSVM（81.8%）高出2.2个百分点。
• 在MPQA数据集上，该模型达到89.9%的准确率，超过NBSVM（86.3%），并匹配或超过大多数复杂的深度学习模型。
• 在IMDB数据集上，该模型达到91.8%的准确率，超过NBSVM（91.2%），仅次于AdaSent（93.3%）。
• 在TTwt数据集上，该模型的宏F1值达到69.9%，优于其他依赖目标的模型，如Targ-dept+（69.5%）和AdaRNN comb（65.9%）。
• 该模型在多个基准测试中始终位列第一或第二，表明通过嵌入进行简单特征工程可与复杂深度学习模型相媲美。