[论文解读] CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis

Mengting Hu, Shiwan Zhao+5 more|arXiv (Cornell University)|Dec 27, 2018

Sentiment Analysis and Opinion Mining参考文献 35被引用 10

一句话总结

本文提出约束注意力网络（CAN），通过在注意力机制中应用正交性和稀疏性正则化，提升多方面情感分析性能，减少噪声并改善方面特定表征学习。实验表明，CAN在公开数据集上优于当前最先进模型，尤其在以方面类别检测为辅助任务的多任务设置中表现更优。

ABSTRACT

Aspect level sentiment classification is a fine-grained sentiment analysis task. To detect the sentiment towards a particular aspect in a sentence, previous studies have developed various attention-based methods for generating aspect-specific sentence representations. However, the attention may inherently introduce noise and downgrade the performance. In this paper, we propose constrained attention networks (CAN), a simple yet effective solution, to regularize the attention for multi-aspect sentiment analysis, which alleviates the drawback of the attention mechanism. Specifically, we introduce orthogonal regularization on multiple aspects and sparse regularization on each single aspect. Experimental results on two public datasets demonstrate the effectiveness of our approach. We further extend our approach to multi-task settings and outperform the state-of-the-art methods.

研究动机与目标

• 为解决方面级情感分类中注意力机制噪声问题，即注意力可能错误聚焦于无关或跨方面的词语。
• 通过强制非重叠方面之间的注意力分布正交化，并对每个方面实施稀疏注意力，提升方面特定句子表征。
• 通过引入方面类别检测（ACD）作为辅助任务，实现多任务学习以提升性能。
• 在单任务和多任务设置下验证约束注意力在多方面情感分析中的有效性。

提出的方法

• 在多个非重叠方面的注意力权重之间引入正交正则化，以最小化注意力重叠，促进不同关注区域的分离。
• 对每个方面应用稀疏正则化，使注意力仅集中于少数关键意见词，减少无关标记带来的噪声。
• 构建统一损失函数，结合稀疏正则化（R_s）与正交正则化（R_o），联合优化注意力分布。
• 通过在方面级情感分类（ALSC）和方面类别检测（ACD）上联合训练，将框架扩展至多任务学习，共享上下文表征。
• 在ALSC和ACD任务中均使用注意力约束，提升泛化能力并改善方面特定表征学习。
• 可视化注意力权重以分析模型行为，验证约束注意力可带来更具可解释性和准确性的注意力分布。

实验结果

研究问题

• RQ1 多个方面之间的正交正则化是否能改善注意力定位并减少无关词语的干扰？
• RQ2 每个方面的稀疏正则化是否能增强对关键意见词的关注并减少方面特定表征中的噪声？
• RQ3 将方面类别检测（ACD）作为辅助任务进行联合训练，是否能提升方面级情感分类（ALSC）的性能？
• RQ4 与标准注意力相比，约束注意力机制在注意力分布可解释性和情感分类准确率方面表现如何？
• RQ5 在不同数据集类型（包括重叠与非重叠方面情况）中，同时结合稀疏与正交正则化对模型性能有何影响？

主要发现

• CAN在两个公开的多方面情感分析数据集上显著优于当前最先进模型，展现出卓越的方面级情感分类性能。
• 注意力可视化显示，CAN生成了更具正交性和稀疏性的注意力分布，每个方面均聚焦于不同且相关的词语（如对‘food’聚焦于‘outstanding’，对‘service’聚焦于‘tops’）。
• 在多任务学习中，引入ACD作为辅助任务可进一步提升ALSC性能，且CAN通过联合训练取得最佳结果。
• 正则化损失曲线证实，稀疏（R_s）与正交（R_o）正则化在训练过程中均有效下降，表明优化成功。
• 在重叠情形下（如方面共享意见片段，例如‘highly disappointed’），CAN能正确识别并为两个方面分配情感。
• 错误分析显示，当缺乏显式意见词时，模型在处理否定句存在局限，因缺乏强烈情感线索，注意力分布趋于均匀。