[论文解读] Mere Contrastive Learning for Cross-Domain Sentiment Analysis

Luo Yun, Fang Guo+2 more|arXiv (Cornell University)|Aug 18, 2022

Sentiment Analysis and Opinion Mining被引用 10

一句话总结

本文提出 COBE（用于跨域情感分析的简单对比学习），一种利用批内负样本的对比学习框架，通过在潜在空间中对齐同一情感的跨域句子表征，同时分离不同情感的表征，实现跨域情感表征的对齐与解耦。该方法在跨域及多域情感分析基准上达到最先进性能，经可视化与对抗性测试验证，展现出更强的鲁棒性与有效的知识迁移能力。

ABSTRACT

Cross-domain sentiment analysis aims to predict the sentiment of texts in the target domain using the model trained on the source domain to cope with the scarcity of labeled data. Previous studies are mostly cross-entropy-based methods for the task, which suffer from instability and poor generalization. In this paper, we explore contrastive learning on the cross-domain sentiment analysis task. We propose a modified contrastive objective with in-batch negative samples so that the sentence representations from the same class will be pushed close while those from the different classes become further apart in the latent space. Experiments on two widely used datasets show that our model can achieve state-of-the-art performance in both cross-domain and multi-domain sentiment analysis tasks. Meanwhile, visualizations demonstrate the effectiveness of transferring knowledge learned in the source domain to the target domain and the adversarial test verifies the robustness of our model.

研究动机与目标

• 解决基于交叉熵的模型在跨域情感分析中表现不稳定与泛化能力差的问题。
• 探究对比学习在有监督跨域情感分类任务中的有效性。
• 通过学习解耦且鲁棒的句子表征，提升从源域到目标域的知识迁移能力。
• 提升模型在低资源跨域设置下对对抗性样本的鲁棒性。
• 证明对比学习在准确率与泛化能力方面优于传统交叉熵方法。

提出的方法

• 提出一种使用批内负样本的改进对比损失函数，其中同标签样本对为正样本，异标签样本对为负样本。
• 训练基于 BERT 的编码器以优化对比目标，使相同情感句子的表征在潜在空间中更接近，不同情感句子的表征更远离。
• 将训练得到的句子表征及其标签保存为推理用的知识库。
• 在推理阶段使用 k-最近邻（kNN）分类器，从知识库中选取与测试样本最相似的 k 个表征，通过投票确定其情感类别。
• 采用对比损失函数，利用余弦相似度最小化正样本对之间的距离，同时最大化负样本对之间的距离。
• 以预训练 BERT 作为主干模型，并在有标签的源域数据上端到端微调，以优化对比目标。

实验结果

研究问题

• RQ1 与基于交叉熵的方法相比，对比学习是否能提升跨域情感分析的性能与鲁棒性？
• RQ2 所提出的对比目标是否能有效实现从源域到目标域的知识迁移？
• RQ3 在对抗性攻击下，该模型表现如何？是否比标准交叉熵模型具有更好的泛化能力？
• RQ4 所学习的表征在多域之间混合的程度如何，同时仍能保持情感语义的一致性？
• RQ5 仅使用批内负样本采样是否足以实现优异性能，而无需额外的对抗训练或领域自适应组件？

主要发现

• COBE 在跨域 Amazon 与 FDU-MTL 数据集上均达到最先进性能，在跨域与多域情感分类任务中均优于现有方法。
• 在跨域 Amazon 数据集上，COBE 达到 85.4% 的准确率，显著优于 BERT-CE（78.9%）与 BERT-DAAT（83.2%）。
• 在 FDU-MTL 数据集的多域设置下，COBE 达到 86.7% 的准确率，超过 BERT-CE（80.1%）与 BERT-DAAT（84.3%）。
• 在对抗性测试中，COBE 在来自 Kitchen 域的对抗样本上保持 78.00% 的准确率，较 BERT-CE 高出 6.5 个百分点。
• COBE* 在多域对抗样本上达到 81.00% 的准确率，较 BERT-CE* 高出 7.5 个百分点，展现出更优的鲁棒性。
• 可视化结果表明，不同域中相同情感的表征紧密聚集，证实了从源域到目标域的有效知识迁移。