[论文解读] Domain Adaptation for Sentiment Analysis Using Increased Intraclass Separation

Mohammad Rostami, Aram Galstyan|arXiv (Cornell University)|Jul 4, 2021

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

该论文提出了一种用于跨领域情感分析的新型领域自适应方法，通过使用高斯混合模型（GMM）在源域中增大类内间距，从而提升模型的泛化能力。通过将源域和目标域的分布同时对齐到由GMM估计的分布，该方法减少了领域偏移，并在基准数据集上实现了最先进性能，且对标签不平衡具有鲁棒性。

ABSTRACT

Sentiment analysis is a costly yet necessary task for enterprises to study the opinions of their customers to improve their products and to determine optimal marketing strategies. Due to the existence of a wide range of domains across different products and services, cross-domain sentiment analysis methods have received significant attention. These methods mitigate the domain gap between different applications by training cross-domain generalizable classifiers which help to relax the need for data annotation for each domain. Most existing methods focus on learning domain-agnostic representations that are invariant with respect to both the source and the target domains. As a result, a classifier that is trained using the source domain annotated data would generalize well in a related target domain. We introduce a new domain adaptation method which induces large margins between different classes in an embedding space. This embedding space is trained to be domain-agnostic by matching the data distributions across the domains. Large intraclass margins in the source domain help to reduce the effect of "domain shift" on the classifier performance in the target domain. Theoretical and empirical analysis are provided to demonstrate that the proposed method is effective.

研究动机与目标

• 为解决跨领域情感分析中的领域差距问题，其中情感表达在书籍、电子产品和食品等不同领域间存在显著差异。
• 通过减少领域偏移的影响来提升低资源目标领域中的模型泛化能力，且无需大量标注数据。
• 开发一种方法，通过在源域嵌入空间中增大类间与类内间距，增强分类器的鲁棒性。
• 为通过分布对齐与最大间距化来最小化目标领域误差的上界提供理论依据。
• 评估方法在目标领域中对标签不平衡的鲁棒性，这是情感分析中常见的现实挑战。

提出的方法

• 该方法从源域的置信预测中学习一个参数化的高斯混合模型（GMM），以建模特定类别的分布。
• 利用GMM定义一个目标分布，使源域和目标域的嵌入均朝该分布对齐，从而确保领域无关的表示。
• 模型在嵌入空间中使用切片Wasserstein距离（SWD）将源域和目标域分布与GMM分布对齐。
• 应用置信度阈值τ，选择高置信度的源样本用于GMM估计，以确保鲁棒性与最大间距化。
• 训练目标结合了通过SWD实现的领域对齐与通过GMM实现的间距最大化，以最小化目标误差的上界。
• 该框架通过共享的深度编码器和分类头端到端训练，且在特征学习过程中强制实施领域对齐。

实验结果

研究问题

• RQ1 在源域中增大类内间距是否能提升跨领域情感分类性能？
• RQ2 将源域和目标域均对齐到由GMM估计的分布，是否能减少领域偏移并提升泛化能力？
• RQ3 在目标领域中存在标签不平衡的条件下，该方法表现如何？这是情感分析中常见的现实场景。
• RQ4 性能提升是源于间距最大化还是领域对齐本身？两者各自的贡献比例如何？
• RQ5 该方法对用于选择GMM估计样本的置信度阈值τ的敏感性如何？

主要发现

• 所提方法在多个领域迁移任务（包括B→D、B→E、D→K和E→K）中均优于当前最先进方法。
• 在Amazon数据集上，该方法在D→K迁移任务中实现了86.8%的准确率，优于先前方法。
• 即使在严重标签不平衡（90/10）条件下，该方法仍保持强劲性能，D→K任务准确率达86.8%，展现出显著鲁棒性。
• 消融研究显示，间距诱导机制对性能有显著贡献，AO（仅对齐）基线方法平均性能低2–3%。
• 置信度阈值τ对性能有明显影响，当τ ≥ 0.8时达到最优，性能趋于稳定且方差减小。
• UMAP可视化结果证实，该方法能有效对齐嵌入空间中的源域和目标域分布，即使在不平衡设置下亦然。