[论文解读] Lexicon Integrated CNN Models with Attention for Sentiment Analysis

Bonggun Shin, Timothy Lee+1 more|arXiv (Cornell University)|Oct 20, 2016

Sentiment Analysis and Opinion Mining参考文献 26被引用 23

一句话总结

本文提出了一种基于CNN的新型情感分析模型，通过整合词典嵌入和注意力机制，提升了模型性能、稳定性和可解释性。通过分别对词嵌入和词典嵌入应用卷积操作，并利用注意力机制动态加权重要特征，该模型在SemEval’16和Stanford Sentiment Treebank数据集上取得了当前最优结果，同时通过注意力热力图实现了更快的学习速度和更高的可解释性。

ABSTRACT

With the advent of word embeddings, lexicons are no longer fully utilized for sentiment analysis although they still provide important features in the traditional setting. This paper introduces a novel approach to sentiment analysis that integrates lexicon embeddings and an attention mechanism into Convolutional Neural Networks. Our approach performs separate convolutions for word and lexicon embeddings and provides a global view of the document using attention. Our models are experimented on both the SemEval'16 Task 4 dataset and the Stanford Sentiment Treebank, and show comparative or better results against the existing state-of-the-art systems. Our analysis shows that lexicon embeddings allow to build high-performing models with much smaller word embeddings, and the attention mechanism effectively dims out noisy words for sentiment analysis.

研究动机与目标

• 探究在深度学习框架中，当与词嵌入结合时，词典是否仍对情感分析有帮助。
• 开发一种有效的方法，将词典嵌入整合到CNN架构中，用于情感分类。
• 探索注意力机制在提升情感分类任务中模型性能和可解释性方面的影响。
• 评估词典嵌入集成模型在不同数据集和随机种子下的鲁棒性与泛化能力。

提出的方法

• 模型使用独立的卷积层处理词嵌入和词典嵌入，以捕捉不同的情感相关特征。
• 评估了三种集成策略：简单拼接、多通道和独立卷积，其中后者表现最优。
• 应用嵌入注意力机制，动态加权序列中词语和词典术语的重要性。
• 注意力机制生成注意力向量，突出显示情感相关词语，同时抑制非情感词（如停用词）。
• 最终预测通过全连接层后接Softmax生成，注意力权重通过热力图可视化，以增强可解释性。
• 在SemEval’16任务4和Stanford Sentiment Treebank数据集上进行实验，使用多个随机种子以评估模型稳定性。

实验结果

研究问题

• RQ1 在深度学习框架中，当与预训练词嵌入结合时，词典嵌入是否仍能提升情感分析性能？
• RQ2 在拼接、多通道和独立卷积三种词典嵌入集成方法中，哪种方法能实现最佳性能和稳定性？
• RQ3 注意力机制如何提升情感分类任务中的模型性能和可解释性？
• RQ4 词典嵌入与注意力机制的结合是否能加快训练过程中的收敛速度？

主要发现

• SC-EAV模型通过结合独立卷积和嵌入注意力机制，在SemEval’16和Stanford Sentiment Treebank数据集上均达到了当前最优性能。
• 词典嵌入使模型在使用较小词嵌入时仍能表现优异，降低了对大规模预训练嵌入的依赖。
• 注意力机制能有效突出显示情感相关词语（如热力图中用红色标示的负面词），并弱化非情感词（如用绿色和蓝色标示的停用词）。
• 集成词典嵌入和注意力机制的模型收敛速度更快，在训练初期即达到高F1分数，该结论通过十个随机种子的平均学习曲线得到验证。
• 模型在不同随机种子下表现稳定，准确率和F1分数持续提升，表明其具备强大的泛化能力。
• 注意力热力图提供了有意义的可解释性，直观展示了模型聚焦于相关情感线索，增强了模型的透明度。