[论文解读] LSA: Modeling Aspect Sentiment Coherency via Local Sentiment Aggregation

Heng Yang, Ke Li|arXiv (Cornell University)|Oct 16, 2021

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出局部情感聚合（LSA），一种新颖范式，通过在相邻方面上应用差异化加权情感聚合窗口来建模方面情感一致性，从而提升方面级情感分类性能。LSA 在三个公开数据集上实现了最先进性能，通过有效学习隐式情感并改进一致性建模，而无需依赖句法结构。

ABSTRACT

Aspect sentiment coherency is an intriguing yet underexplored topic in the field of aspect-based sentiment classification. This concept reflects the common pattern where adjacent aspects often share similar sentiments. Despite its prevalence, current studies have not fully recognized the potential of modeling aspect sentiment coherency, including its implications in adversarial defense. To model aspect sentiment coherency, we propose a novel local sentiment aggregation (LSA) paradigm based on constructing a differential-weighted sentiment aggregation window. We have rigorously evaluated our model through experiments, and the results affirm the proficiency of LSA in terms of aspect coherency prediction and aspect sentiment classification. For instance, it outperforms existing models and achieves state-of-the-art sentiment classification performance across five public datasets. Furthermore, we demonstrate the promising ability of LSA in ABSC adversarial defense, thanks to its sentiment coherency modeling. To encourage further exploration and application of this concept, we have made our code publicly accessible. This will provide researchers with a valuable tool to delve into sentiment coherency modeling in future research.

研究动机与目标

• 为解决方面级情感分类（ABSC）中方面情感一致性作用研究不足的问题，其中相邻方面常具有相似情感。
• 克服基于句法树方法的局限性，后者存在词元-节点错位和高计算成本问题。
• 开发一种轻量化、可迁移的框架，通过利用局部情感一致性来增强现有 ABSC 模型，而无需结构解析。
• 通过可微分、自适应窗口机制聚合邻近方面的感情信号，实现隐式情感学习。
• 证明情感一致性是一种关键但被忽视的信号，可显著提升多样化领域中的 ABSC 性能。

提出的方法

• 提出一种局部情感聚合（LSA）范式，通过序列中相邻方面的感情特征聚合来建模情感一致性。
• 引入差异化加权情感聚合窗口，学习根据情感相似性为邻近方面分配不同重要性。
• 使用梯度下降优化窗口权重，实现端到端的一致性模式学习，无需显式句法解析。
• 基于方面特征（如位置、依存关系或语义相似度）设计三种不同的情感聚合窗口策略，以捕捉不同上下文下的一致性。
• 将 LSA 作为即插即用模块集成到现有 ABSC 模型（如 BERT、LCF-BERT）中，无需架构修改。
• 在一种变体（LSA_S）中使用 spaCy 提取句法树，但优先采用更快、无对齐问题的替代方案（LSA_T、LSA_P），以避免词元-节点错位。

实验结果

研究问题

• RQ1 建模局部情感一致性在多大程度上能提升方面级情感分类性能？
• RQ2 轻量化、可微分的聚合机制是否能在不依赖句法解析的情况下有效捕捉情感一致性？
• RQ3 LSA 在学习缺乏显式情感表达的方面隐式情感方面表现如何？
• RQ4 LSA 中的差异化加权机制是否能自适应地抑制无关或冲突的邻近方面？
• RQ5 在准确率、效率和鲁棒性方面，LSA 与基于句法树和图神经网络的方法相比表现如何？

主要发现

• LSA 在 Laptop14 和 Restaurant14 数据集上实现了最先进性能，证明其在建模方面情感一致性方面的有效性。
• 该方法在三个公开 ABSC 数据集上显著提升了情感一致性建模性能，性能增益归因于隐式情感聚合。
• 在单方面情形下，LSA 保持与基础模型（如 BERT-SPC、LCF-BERT）相当的性能下限，表明无性能退化。
• 差异化加权聚合窗口学会为不一致或不相似的邻近方面分配接近零的权重，有效过滤噪声。
• LSA_T 和 LSA_P 变体在数据预处理阶段比 LSA_S 快约 10 倍，更适合实际部署。
• 统计分析证实真实世界 ABSC 数据中存在情感一致性，五个公开数据集中均观察到情感聚类，验证了该方法的基本假设。