[论文解读] Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification

Pinlong Zhaoa, Linlin Houb+1 more|arXiv (Cornell University)|Jun 11, 2019

Sentiment Analysis and Opinion Mining参考文献 37被引用 8

一句话总结

本文提出SDGCN，一种图卷积网络模型，通过将方面视为节点、其关系情感视为边，捕捉句子中多个方面之间的情感依赖关系。通过结合双向注意力与位置编码进行特定方面的表征学习，再结合基于GCN的消息传递机制，该模型在SemEval 2014数据集上实现了最先进性能，表明方面间的情感依赖显著提升了方面级情感分类的准确率。

ABSTRACT

Aspect-level sentiment classification aims to distinguish the sentiment polarities over one or more aspect terms in a sentence. Existing approaches mostly model different aspects in one sentence independently, which ignore the sentiment dependencies between different aspects. However, we find such dependency information between different aspects can bring additional valuable information. In this paper, we propose a novel aspect-level sentiment classification model based on graph convolutional networks (GCN) which can effectively capture the sentiment dependencies between multi-aspects in one sentence. Our model firstly introduces bidirectional attention mechanism with position encoding to model aspect-specific representations between each aspect and its context words, then employs GCN over the attention mechanism to capture the sentiment dependencies between different aspects in one sentence. We evaluate the proposed approach on the SemEval 2014 datasets. Experiments show that our model outperforms the state-of-the-art methods. We also conduct experiments to evaluate the effectiveness of GCN module, which indicates that the dependencies between different aspects is highly helpful in aspect-level sentiment classification.

研究动机与目标

• 为解决现有方面级情感分类模型将方面独立处理、忽略其间宝贵情感依赖关系的局限性。
• 探究句子中多个方面之间的关系信息是否能提升情感预测性能。
• 设计一种新型深度学习框架，利用图卷积网络显式建模方面间的情感依赖。
• 评估GCN模块在捕捉句子中方面间关系情感模式方面的有效性。
• 提供实证证据，表明从并列连词和句子结构中推断出的情感依赖对提升分类准确率具有帮助。

提出的方法

• 采用双向注意力结合位置编码，通过关注每个方面相关的上下文词语来学习特定方面的表征。
• 构建图结构，其中每个方面作为节点，情感依赖关系（如通过'but'、'and'等连词）作为节点间的边。
• 应用图卷积网络（GCN）在相连方面间传播并聚合情感信息，捕捉方面间依赖关系。
• 在GCN中使用消息传递机制，通过邻近方面的关系上下文来优化方面表征。
• 在注意力机制之后集成GCN模块，联合优化方面表征学习与依赖关系建模。
• 使用交叉熵损失在SemEval 2014数据集上端到端训练模型，完成情感分类任务。

实验结果

研究问题

• RQ1 在句子中建模多个方面之间的情感依赖关系是否能提升方面级情感分类性能？
• RQ2 图卷积网络在捕捉方面间关系情感模式方面的有效性如何？
• RQ3 不同架构组件（如双向注意力与GCN层）对模型性能的影响如何？
• RQ4 语言线索（如连词'but'、'and'）在识别方面间情感依赖关系中的作用是什么？
• RQ5 方面间依赖关系在多大程度上可减少对显式情感词的依赖以预测方面极性？

主要发现

• 所提出的SDGCN模型在SemEval 2014数据集上实现了最先进性能，优于现有方法在方面级情感分类任务中的表现。
• 消融实验证实GCN模块显著提升性能，完整模型（BiAtt+GCN）的F1分数高于无GCN的变体。
• 采用GCN的模型（BiAtt+GCN）在笔记本电脑数据集上取得84.5的F1分数，在餐厅数据集上取得81.3的F1分数，超越了先前的SOTA方法。
• 实验表明，GCN层的最佳数量为2层，超过2层的深层网络因过拟合和训练困难导致性能下降。
• 通过注意力热力图的案例研究显示，GCN增强的模型会关注'but'、'and'等关系词，这些词标志了方面间的情感对立或一致。
• 采用GCN的模型不仅关注情感承载词，还学会关注指示方面间情感关系的结构线索，从而提升泛化能力与鲁棒性。