[论文解读] Aspect Based Sentiment Analysis with Gated Convolutional Networks

Wei Xue, Tao Li|arXiv (Cornell University)|May 18, 2018

Sentiment Analysis and Opinion Mining参考文献 17被引用 67

一句话总结

本文提出 GCAE，一种基于 CNN 的模型，具有门控双曲正切-ReLU 单元（Gated Tanh-ReLU Units），在 ABSA 任务（ACSA 和 ATSA）中选择性提取面向特定方面的情感特征，提供更快的训练速度和竞争力的准确性，且不使用循环层或传统注意力机制。

ABSTRACT

Aspect based sentiment analysis (ABSA) can provide more detailed information than general sentiment analysis, because it aims to predict the sentiment polarities of the given aspects or entities in text. We summarize previous approaches into two subtasks: aspect-category sentiment analysis (ACSA) and aspect-term sentiment analysis (ATSA). Most previous approaches employ long short-term memory and attention mechanisms to predict the sentiment polarity of the concerned targets, which are often complicated and need more training time. We propose a model based on convolutional neural networks and gating mechanisms, which is more accurate and efficient. First, the novel Gated Tanh-ReLU Units can selectively output the sentiment features according to the given aspect or entity. The architecture is much simpler than attention layer used in the existing models. Second, the computations of our model could be easily parallelized during training, because convolutional layers do not have time dependency as in LSTM layers, and gating units also work independently. The experiments on SemEval datasets demonstrate the efficiency and effectiveness of our models.

研究动机与目标

• 推动 ABSA，提供对文本中预定义方面或目标的细粒度情感分析（ACSA 和 ATSA）。
• 提出一种基于 CNN 的架构，使用门控机制在给定方面条件下有选择地传播情感特征。
• 消除对 LSTM/注意力的依赖，以在提高训练效率的同时维持或提升准确性。
• 扩展模型以在共享的 CNN 组件下同时处理方面类别（ACSA）和方面术语（ATSA）。
• 通过全面实验展示在 SemEval 餐馆与笔记本数据集上的有效性。

提出的方法

• 提出带有方面嵌入的门控卷积网络（GCAE），利用用于情感和方面特征的两个并行卷积流。
• 引入 Gated Tanh-ReLU Units（GTRU），在每个位置通过逐元素门控融合情感线索与方面信息。
• 通过带有方面嵌入的 ReLU 激活卷积来计算情感特征 a_i，通过 tanh 激活卷积计算方面特征 s_i，然后输出 c_i = s_i * a_i。
• 对门控特征进行时序最大池化，形成用于分类的固定长度句子表示。
• 对于 ATSA，加入一个对方面术语的小型 CNN 以生成门控引导特征；对于 ACSA，使用单一的方面嵌入。
• 端到端训练，使用对预测情感极性的交叉熵损失。

实验结果

研究问题

• RQ1 基于 CNN 的架构，带有逐位置门控单元，是否能在 ACSA 和 ATSA 任务中达到甚至超过基于 LSTM/注意力的 ABSA 模型？
• RQ2 基于方面信息的门控机制是否相较于标准 CNN 能改善面向特定方面的情感特征提取？
• RQ3 由于可并行化的卷积和门控，所提出的 GCAE 相较于 LSTM/注意力方法在训练时间上是否更高效？
• RQ4 在包含多方面和混合情感的困难 ABSA 测试集中，GCAE 的表现如何？
• RQ5 带有方面术语的辅助 CNN 的 ATSA 扩展是否能有效引导多词目标的情感组成？

主要发现

• GCAE 在餐厅 ABSA 任务上显著优于若干神经基线，在每句含多种情感的困难测试集上也显示出显著提升。
• GCAE 展现出比 LSTM/注意力模型更快的训练收敛速度（训练时间显著减少）。
• 基于方面信息的 GTRU 门控改善了情感特征的选择性传播，在 ABSA 任务中优于 GTU 和 GLU 变体。
• 带有方面术语 CNN 的 ATSA 扩展在与基于 LSTM 的基线相比时具有竞争力，在困难测试场景中 GCAE 常常表现更好。
• 卷积架构实现并行计算，在不牺牲准确性的情况下提高了效率。