[论文解读] Back to Reality: Leveraging Pattern-driven Modeling to Enable Affordable Sentiment Dependency Learning

Heng Yang, Biqing Zeng+2 more|arXiv (Cornell University)|Oct 16, 2021

Sentiment Analysis and Opinion Mining参考文献 24被引用 7

一句话总结

本文提出一种基于模式的方面级情感分类中情感依赖学习方法，通过识别具有相同情感极性的连续方面作为情感聚类。利用局部情感聚合机制与差异加权，该方法在无需昂贵的句法依赖树的情况下高效建模依赖关系，在四个公开数据集上实现最先进性能，尤其在情感聚类上表现突出。

ABSTRACT

Aspect-based Sentiment Classification (ABSC) is a challenging sub-task of traditional sentiment analysis. Due to the difficulty of handling potential correlations among sentiment polarities of multiple aspects, i.e., sentiment dependency, recent popular works tend to exploit syntactic information guiding sentiment dependency parsing. However, syntax information (e.g., syntactic dependency trees) usually occupies expensive computational resources in terms of the operation of the adjacent matrix. Instead, we define the consecutive aspects with the same sentiment as the sentiment cluster in the case that we find that most sentiment dependency occurs between adjacent aspects. Motivated by this finding, we propose the sentiment patterns (SP) to guide the model dependency learning. Thereafter, we introduce the local sentiment aggregating (LSA) mechanism to focus on learning the sentiment dependency in the sentiment cluster. The LSA is more efficient than existing dependency tree-based models due to the absence of additional dependency matrix constructing and modeling. Furthermore, we propose differential weighting for aggregation window building to measure the importance of sentiment dependency. Experiments on four public datasets show that our models achieve state-of-the-art performance with especially improvement on learning sentiment cluster.

研究动机与目标

• 解决在方面级情感分类中建模多个方面之间情感依赖的挑战。
• 降低情感依赖建模中句法依赖树构建带来的计算成本。
• 通过基于模式的学习方法，提升在情感聚类（具有相同情感的连续方面）上的性能。
• 开发一种轻量化、高效的依赖树替代方案，用于情感依赖学习。

提出的方法

• 基于观察结果（大多数情感依赖发生在相邻方面之间），将具有相同情感极性的连续方面定义为情感聚类。
• 提出情感模式（SP）以引导模型识别并聚焦于情感聚类。
• 引入局部情感聚合（LSA）机制，在不构建邻接依赖矩阵的情况下，对每个情感聚类内的情感依赖进行建模。
• 对聚合窗口应用差异加权，以衡量聚类内情感依赖的重要性。
• 使用基于模式的注意力机制，动态调整对聚类内相关方面的关注。
• 使用标准交叉熵损失端到端训练模型，用于方面-情感对分类。

实验结果

研究问题

• RQ1 具有相同情感的连续方面是否能形成稳定模式，从而简化情感依赖建模？
• RQ2 与基于语法的依赖建模相比，基于模式的方法在效率和性能方面表现如何？
• RQ3 在情感聚类内进行局部情感聚合是否能提升方面级情感分类的性能？
• RQ4 对聚合窗口应用差异加权是否能增强模型捕捉关键情感依赖的能力？
• RQ5 所提方法是否能在不依赖昂贵句法依赖树的情况下实现最先进性能？

主要发现

• 所提方法在四个公开的方面级情感分类数据集上达到最先进性能。
• 模型在情感聚类上表现尤为突出，因为大多数情感依赖发生在此类聚类中。
• 局部情感聚合机制通过消除依赖矩阵构建需求，显著降低计算成本。
• 对聚合窗口应用差异加权，增强了模型聚焦于聚类内关键情感依赖的能力。
• 基于情感模式的方法在效率上优于依赖语法的模型，同时保持或提升准确率。
• 实证结果证实，大多数情感依赖发生于相邻方面之间，验证了情感聚类这一核心设计选择的合理性。