[论文解读] Domain Adaptation with Category Attention Network for Deep Sentiment Analysis

Dongbo Xi, Fuzhen Zhuang+4 more|arXiv (Cornell University)|Dec 31, 2021

Sentiment Analysis and Opinion Mining参考文献 15被引用 7

一句话总结

本文提出CAN-CNN，一种用于跨领域情感分析的领域自适应模型，通过类别注意力网络（CAN）统一学习领域共享（枢纽词）和领域特定（非枢纽词）的情感词汇。通过整合类别记忆模块、动态匹配机制和类别注意力层，该模型通过自动识别可迁移的情感特征，提升了性能与可解释性，在三个公开数据集上显著优于现有方法，准确率与F1值均有明显提升。

ABSTRACT

Domain adaptation tasks such as cross-domain sentiment classification aim to utilize existing labeled data in the source domain and unlabeled or few labeled data in the target domain to improve the performance in the target domain via reducing the shift between the data distributions. Existing cross-domain sentiment classification methods need to distinguish pivots, i.e., the domain-shared sentiment words, and non-pivots, i.e., the domain-specific sentiment words, for excellent adaptation performance. In this paper, we first design a Category Attention Network (CAN), and then propose a model named CAN-CNN to integrate CAN and a Convolutional Neural Network (CNN). On the one hand, the model regards pivots and non-pivots as unified category attribute words and can automatically capture them to improve the domain adaptation performance; on the other hand, the model makes an attempt at interpretability to learn the transferred category attribute words. Specifically, the optimization objective of our model has three different components: 1) the supervised classification loss; 2) the distributions loss of category feature weights; 3) the domain invariance loss. Finally, the proposed model is evaluated on three public sentiment analysis datasets and the results demonstrate that CAN-CNN can outperform other various baseline methods.

研究动机与目标

• 解决跨领域情感分类中的领域偏移问题，其中情感表达在不同领域（如食品与电影）间存在显著差异。
• 克服先前方法将枢纽词与非枢纽词分别处理的局限，避免复杂双分支网络架构。
• 通过自动识别并关注目标领域中的可迁移情感特征（枢纽词与非枢纽词），提升模型可解释性。
• 构建统一框架，学习领域感知的类别属性词，而无需手动区分枢纽词与非枢纽词。
• 通过结合监督分类、类别特征分布对齐与领域不变性损失的多组件损失函数，优化模型以增强泛化能力与迁移性能。

提出的方法

• 提出类别注意力网络（CAN），集成类别记忆模块（CMM）以存储与检索特定类别的情感词汇。
• 实现动态匹配（DM）过程，基于语义相似度将CMM中的相关类别属性词匹配到每个输入样本。
• 应用类别注意力（CA）层，计算每个样本与匹配类别词之间的注意力权重，以突出相关情感特征。
• 在源领域使用预定义的情感词汇初始化CMM，在目标领域则随机初始化，以实现领域感知的知识迁移。
• 采用三重损失组件进行模型优化：监督分类损失、类别特征权重分布损失与领域不变性损失，以对齐源域与目标域的表示。
• 将CAN与卷积神经网络（CNN）结合，构建CAN-CNN，利用CNN的局部特征提取能力与CAN的注意力类别建模能力，提升情感分类性能。

实验结果

研究问题

• RQ1 统一框架能否在无需独立网络分支的情况下，有效联合学习领域共享（枢纽词）与领域特定（非枢纽词）的情感词汇？
• RQ2 与现有最先进方法相比，类别注意力网络（CAN）在跨领域情感分类任务中的性能提升程度如何？
• RQ3 模型内部的CMM与注意力机制能否提供关于从源域到目标域迁移了哪些情感特征的可解释性洞察？
• RQ4 CAN中的动态匹配与注意力机制在低资源目标领域中如何增强特征表示学习？
• RQ5 类别分布对齐与领域不变性损失的结合是否能带来更好的泛化能力与鲁棒性？

主要发现

• CAN-CNN在三个公开情感分析数据集（IMDB、Yelp、MR）上优于多个最先进基线模型，在跨领域情感分类任务中实现了更高的准确率与F1值。
• 通过联合优化监督分类、类别特征分布对齐与领域不变性损失，模型实现了显著性能提升，验证了多组件损失目标的有效性。
• 训练完成后，目标域的CMM学习到了有意义的情感词汇，如'funny'（滑稽）、'heartbreaking'（令人心碎）、'boring'（无聊）、'horrible'（可怕），表明实现了成功的领域感知知识迁移。
• 类别注意力权重的可视化显示，模型能正确识别关键情感词汇——例如在正样本中关注'funny'与'heartbreaking'，在负样本中关注'boring'与'horrible'，证明其对实际情感线索的准确注意力聚焦。
• 模型通过聚焦主导情感词汇，有效抑制了误导性情感线索（如'not horrible'或'unsentimental'），展现出对否定与反语的鲁棒性。
• 目标域中的领域感知CMM作为可解释知识迁移的载体，揭示了从源域到目标域最相关且可迁移的情感特征。