[论文解读] Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification

Yuebing Zhang, Duoqian Miao+1 more|arXiv (Cornell University)|Mar 27, 2019

Sentiment Analysis and Opinion Mining参考文献 6被引用 8

一句话总结

本文提出分层注意力生成对抗网络（HAGAN）用于跨领域情感分类，采用基于生成对抗网络（GAN）的框架，学习领域不变且情感判别性强的文档表征。通过结合双向GRU与分层注意力机制及对抗训练，HAGAN有效对齐源域与目标域的表征，在Amazon评论数据集上实现最先进性能，并提升跨领域的泛化能力。

ABSTRACT

Cross-domain sentiment classification (CDSC) is an importance task in domain adaptation and sentiment classification. Due to the domain discrepancy, a sentiment classifier trained on source domain data may not works well on target domain data. In recent years, many researchers have used deep neural network models for cross-domain sentiment classification task, many of which use Gradient Reversal Layer (GRL) to design an adversarial network structure to train a domain-shared sentiment classifier. Different from those methods, we proposed Hierarchical Attention Generative Adversarial Networks (HAGAN) which alternately trains a generator and a discriminator in order to produce a document representation which is sentiment-distinguishable but domain-indistinguishable. Besides, the HAGAN model applies Bidirectional Gated Recurrent Unit (Bi-GRU) to encode the contextual information of a word and a sentence into the document representation. In addition, the HAGAN model use hierarchical attention mechanism to optimize the document representation and automatically capture the pivots and non-pivots. The experiments on Amazon review dataset show the effectiveness of HAGAN.

研究动机与目标

• 为解决跨领域情感分类（CDSC）中的领域差异问题，即情感模式在不同领域间存在显著差异。
• 开发一种深度学习模型，学习源域与目标域之间共享的、具有情感判别性的表征，且无需依赖人工选择的枢纽词。
• 通过引入生成对抗网络（GAN）框架，克服现有方法使用梯度反转层（GRL）的局限性，实现端到端的对抗训练。
• 通过分层注意力机制，自动识别并强调情感相关枢纽词（在两个领域均有效的词）与非枢纽词（领域特异性词）。
• 通过平衡生成器与判别器的容量，避免模式崩溃，确保稳健的特征对齐，从而提升模型泛化能力。

提出的方法

• HAGAN采用GAN架构，生成器与判别器交替训练，生成既可区分情感又难以区分领域的文档表征。
• 生成器使用两层双向GRU（Bi-GRU）编码词级与句子级上下文信息，生成分层文档表征。
• 应用分层注意力机制，动态加权重要词与句子，实现对情感相关枢纽词与领域特异性非枢纽词的自动识别。
• 判别器执行双重任务：情感分类与领域分类，迫使生成器学习能欺骗领域分类器但保持情感区分能力的表征。
• 模型通过多任务损失联合优化情感分类损失、领域分类损失与对抗目标，实现跨领域表征对齐。
• 训练过程交替优化生成器（最小化领域分类损失，同时保持情感分类准确率）与判别器（最大化情感与领域分类性能）。

实验结果

研究问题

• RQ1 基于GAN的框架能否在不依赖梯度反转层（GRL）的情况下，有效学习领域不变且具有情感判别性的表征，用于跨领域情感分类？
• RQ2 分层注意力机制在多领域中能否有效自动识别并强调情感相关枢纽词与非枢纽词？
• RQ3 Bi-GRU编码与对抗训练的结合是否能有效降低学习到的文档表征中的领域差异？
• RQ4 在领域分布变化下，HAGAN相较于DANN、SCL与SFA等现有方法，在准确率与鲁棒性方面表现如何？
• RQ5 生成器与判别器容量的平衡对CDSC中模型收敛与性能有何影响？

主要发现

• t-SNE可视化显示，HAGAN显著降低了文档表征中的领域差异，源域与目标域的数据分布几乎无法区分。
• HAGAN在Amazon评论数据集的多个跨领域情感分类任务（如B→E、E→B）中均达到最先进性能，优于基线模型（包括HAN与DANN）。
• 分层注意力机制成功识别出跨领域相关的情感枢纽词，如'excellent'、'good'与'amazing'，同时降低领域特异性非枢纽词（如书籍中的'readable'或电子产品中的'pixelated'）的权重。
• HAGAN-C变体（判别器中使用CNN替代MLP）优于原始HAGAN，表明更强的判别能力可进一步提升性能。
• 消融实验证实，采用双重目标（情感分类与领域分类）的对抗训练对学习领域不变表征至关重要。
• 模型对领域分布变化具有鲁棒性，在目标域数据完全无标签时仍能保持高准确率，验证了其在零样本或少样本迁移场景下的有效性。