[论文解读] Deep-Sentiment: Sentiment Analysis Using Ensemble of CNN and Bi-LSTM Models

Shervin Minaee, Elham Azimi+1 more|arXiv (Cornell University)|Apr 8, 2019

Sentiment Analysis and Opinion Mining参考文献 34被引用 36

一句话总结

本文提出一个将 CNN 和 Bi-LSTM 与 Glove 嵌入结合的集成情感分析模型，在 IMDB 和 SST2 数据集上显示出相对于单独模型的更高准确率。

ABSTRACT

With the popularity of social networks, and e-commerce websites, sentiment analysis has become a more active area of research in the past few years. On a high level, sentiment analysis tries to understand the public opinion about a specific product or topic, or trends from reviews or tweets. Sentiment analysis plays an important role in better understanding customer/user opinion, and also extracting social/political trends. There has been a lot of previous works for sentiment analysis, some based on hand-engineering relevant textual features, and others based on different neural network architectures. In this work, we present a model based on an ensemble of long-short-term-memory (LSTM), and convolutional neural network (CNN), one to capture the temporal information of the data, and the other one to extract the local structure thereof. Through experimental results, we show that using this ensemble model we can outperform both individual models. We are also able to achieve a very high accuracy rate compared to the previous works.

研究动机与目标

• 通过模型集成提升情感分析准确率的动机。
• 利用 CNN 捕捉局部文本结构，利用 Bi-LSTM 捕捉时间依赖关系。
• 证明对集成预测取平均优于单独模型在标准数据集上的表现。

提出的方法

• 将 Glove 词嵌入作为输入输入到 CNN 和两层 Bi-LSTM 架构。
• CNN 使用四种卷积核尺寸（1、2、3、4），每种有 100 个特征图，随后是两层全连接层和 softmax。
• Bi-LSTM 使用带 Glove 嵌入的两层 Bi-LSTM 来预测情感。
• 通过对 CNN 和 Bi-LSTM 的预测概率分数取平均来进行集成。

实验结果

研究问题

• RQ1 CNN 与 Bi-LSTM 的集成是否比任一单独模型在情感分类准确率上有提升？
• RQ2 该集成在 IMDB 和 SST2 数据集上的表现与以往工作相比如何？
• RQ3 哪些训练设置和数据特征会影响集成的性能？

主要发现

方法	准确率
提议的 LSTM 模型	89%
提议的 CNN 模型	89.3%
提议的 LSTM 与 CNN 的集成	90%
提议的 LSTM 模型（SST2）	80%
提议的 CNN 模型（SST2）	80.2%
提议的 LSTM 与 CNN 的集成（SST2）	80.5%

• 在 IMDB 上，CNN 与 Bi-LSTM 的集成获得的准确率高于任一单独模型（集成 90% vs CNN 89.3%，LSTM 89%）。
• 在 SST2 上，集成略有提升（集成 80.5% vs CNN 80.2%，LSTM 80%）。
• 与选择的 IMDB 先前工作相比，集成达到具有竞争力的准确率（集成 90% 与先前方法高达 89.3%）。
• 与 LSTM 相比，CNN 更一致地将预测分数推向接近 1 或 0，有助于分类。