[论文解读] Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

Chen Zhang, Qiuchi Li+1 more|arXiv (Cornell University)|Sep 8, 2019

Sentiment Analysis and Opinion Mining参考文献 32被引用 15

一句话总结

本文提出了一种新型框架——特定方面图卷积网络（ASGCN），通过图卷积网络利用句法依存树来捕捉方面级情感分类中的长距离词依赖关系和句法约束。通过将图卷积网络与双向LSTM及注意力机制相结合，ASGCN在三个基准数据集上超越了当前最先进模型，证明了句法结构与依存建模在提升情感预测准确率方面的有效性。

ABSTRACT

Due to their inherent capability in semantic alignment of aspects and their context words, attention mechanism and Convolutional Neural Networks (CNNs) are widely applied for aspect-based sentiment classification. However, these models lack a mechanism to account for relevant syntactical constraints and long-range word dependencies, and hence may mistakenly recognize syntactically irrelevant contextual words as clues for judging aspect sentiment. To tackle this problem, we propose to build a Graph Convolutional Network (GCN) over the dependency tree of a sentence to exploit syntactical information and word dependencies. Based on it, a novel aspect-specific sentiment classification framework is raised. Experiments on three benchmarking collections illustrate that our proposed model has comparable effectiveness to a range of state-of-the-art models, and further demonstrate that both syntactical information and long-range word dependencies are properly captured by the graph convolution structure.

研究动机与目标

• 解决注意力机制和基于CNN的模型在方面级情感分类中难以捕捉句法无关上下文词和长距离依赖关系的局限性。
• 探索图卷积网络（GCNs）在建模句法结构和长距离依赖关系方面用于方面级情感分析的潜力。
• 开发一种特定方面的图卷积机制，以过滤并增强与目标方面相关的特征。
• 证明句法信息和长距离依赖关系显著提升情感分类性能。

提出的方法

• 从每个句子构建依存树，以表示词语之间的句法关系。
• 应用双向LSTM以编码序列上下文和词序信息。
• 在依存树上实施多层GCN，通过邻近节点传播并更新节点表示。
• 引入一种特定方面的掩码机制，以过滤非方面词，仅保留高层次的方面相关特征。
• 将优化后的特定方面特征反馈至LSTM输出，进行基于注意力的特征选择。
• 使用最终的特征表示预测给定（句子，方面）对的情感极性。

实验结果

研究问题

• RQ1 图卷积网络能否有效建模方面级情感分类中的句法依赖关系和长距离词关系？
• RQ2 GCN与LSTM及注意力机制的结合相比现有注意力或基于CNN的模型，在情感预测方面有何改进？
• RQ3 在方面级情感分类中，达到最佳性能的GCN层数量是多少？
• RQ4 当句子中存在多个方面时，模型的鲁棒性和性能如何受到影响？
• RQ5 特定方面的图卷积能否有效过滤无关上下文词，聚焦于情感相关短语？

主要发现

• ASGCN在三个基准数据集（Lap14、Rest14和Twitter）上达到最先进性能，优于多种现有模型。
• 模型在两层GCN时达到最优性能，准确率和宏F1分数在L=2时达到峰值，并随网络加深而下降。
• 实验表明，句法信息和长距离词依赖关系均被GCN架构有效捕捉并加以利用。
• 当句子中包含超过三个方面时，模型准确率变得不稳定，表明未来需进一步研究多方面依赖建模。
• 掩码机制成功过滤了非方面词，使模型聚焦于情感相关短语，减少了句法无关上下文的干扰。