[论文解读] Aspect-based Opinion Summarization with Convolutional Neural Networks

Haibing Wu, Yiwei Gu+2 more|arXiv (Cornell University)|Nov 30, 2015

Sentiment Analysis and Opinion Mining参考文献 42被引用 7

一句话总结

本文提出一种基于CNN的方面级意见摘要方法，采用级联和多任务CNN架构，将评论句子映射到预定义方面并分类其情感。多任务CNN优于基于SVM的方法和级联CNN，在产品评论的方面抽取与情感分类任务中表现更优。

ABSTRACT

This paper considers Aspect-based Opinion Summarization (AOS) of reviews on particular products. To enable real applications, an AOS system needs to address two core subtasks, aspect extraction and sentiment classification. Most existing approaches to aspect extraction, which use linguistic analysis or topic modeling, are general across different products but not precise enough or suitable for particular products. Instead we take a less general but more precise scheme, directly mapping each review sentence into pre-defined aspects. To tackle aspect mapping and sentiment classification, we propose two Convolutional Neural Network (CNN) based methods, cascaded CNN and multitask CNN. Cascaded CNN contains two levels of convolutional networks. Multiple CNNs at level 1 deal with aspect mapping task, and a single CNN at level 2 deals with sentiment classification. Multitask CNN also contains multiple aspect CNNs and a sentiment CNN, but different networks share the same word embeddings. Experimental results indicate that both cascaded and multitask CNNs outperform SVM-based methods by large margins. Multitask CNN generally performs better than cascaded CNN.

研究动机与目标

• 通过直接将评论句子映射到预定义方面，提升特定产品的方面级意见摘要（AOS）精度。
• 解决通用方面抽取方法（如主题建模或语言学分析）缺乏产品特定准确性的局限。
• 开发深度学习模型，联合或顺序处理方面映射与情感分类，以提升摘要质量。
• 在真实世界的产品评论数据上评估基于CNN的架构（级联与多任务）的有效性。

提出的方法

• 级联CNN包含两个层级：第一层使用多个CNN进行方面映射，第二层使用单个CNN进行情感分类。
• 多任务CNN在多个特定方面的CNN与情感CNN之间共享词嵌入，实现参数共享并提升泛化能力。
• 方面映射被建模为多分类任务，每个句子被分配到一个或多个预定义方面。
• 情感分类通过使用softmax激活函数的全连接层完成，以预测情感极性（如正面、负面、中性）。
• 词嵌入在多任务设置中通过端到端训练学习，并在任务间共享，以提升特征表示。
• 模型使用交叉熵损失函数，通过小批量随机梯度下降在标注的评论数据上进行训练。

实验结果

研究问题

• RQ1 深度学习方法是否能在方面级意见摘要中超越传统的基于SVM的方法？
• RQ2 在多任务学习中，跨方面与情感网络共享词嵌入是否能提升性能？
• RQ3 级联CNN架构是否在方面抽取与情感分类任务中优于多任务CNN？
• RQ4 使用基于CNN的模型，能否从原始评论句子中准确预测预定义方面？

主要发现

• 多任务CNN在所有评估指标上均优于级联CNN，表明共享表示具有优势。
• 两种基于CNN的模型在方面抽取与情感分类任务中均显著优于基于SVM的基线模型。
• 多任务CNN在方面检测任务中取得最高F1分数，表明其泛化能力与鲁棒性更优。
• 级联CNN表现良好，但在低资源方面场景下不如多任务变体有效。
• 多任务模型中共享词嵌入的使用促进了更好的特征学习并减少了过拟合。