[论文解读] Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis

Siyin Wang, Jie Zhou+4 more|arXiv (Cornell University)|Feb 22, 2024

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

该论文提出了一种基于因果调整的领域泛化框架，用于跨领域情感分析，通过解耦领域不变表示与领域特定表示，提升在未见测试领域上的泛化能力。通过建模因果关系并应用后门调整以消除混淆因子的影响，该方法在多样化和同构数据集上均实现了最先进性能，展现出更强的鲁棒性与更优的不变表示学习能力。

ABSTRACT

Domain adaption has been widely adapted for cross-domain sentiment analysis to transfer knowledge from the source domain to the target domain. Whereas, most methods are proposed under the assumption that the target (test) domain is known, making them fail to generalize well on unknown test data that is not always available in practice. In this paper, we focus on the problem of domain generalization for cross-domain sentiment analysis. Specifically, we propose a backdoor adjustment-based causal model to disentangle the domain-specific and domain-invariant representations that play essential roles in tackling domain shift. First, we rethink the cross-domain sentiment analysis task in a causal view to model the causal-and-effect relationships among different variables. Then, to learn an invariant feature representation, we remove the effect of domain confounders (e.g., domain knowledge) using the backdoor adjustment. A series of experiments over many homologous and diverse datasets show the great performance and robustness of our model by comparing it with the state-of-the-art domain generalization baselines.

研究动机与目标

• 为解决领域自适应方法在训练期间假设已知目标领域所带来的局限性，该局限性会阻碍其在未见领域上的泛化能力。
• 克服领域不变表示中虚假相关性导致的性能下降问题，尤其是在领域分布发生偏移时。
• 保留传统领域泛化方法仅关注不变表示而丢失的关键领域特定特征。
• 建模输入文本、情感标签与领域混淆因子之间的因果关系，以实现更鲁棒和可泛化的表示学习。
• 开发一种框架，可在无需训练时访问目标领域数据的前提下，有效泛化至同构与多样化数据集。

提出的方法

• 将跨领域情感分析重新表述为因果推断问题，建模输入文本、情感标签与领域混淆因子之间的因果关系。
• 应用后门调整以消除领域混淆因子（如特定领域的语言模式）对学习表示的影响。
• 利用因果结构将表示解耦为领域不变与领域特定两部分，以隔离情感的真实因果因素。
• 学习一种广义表示 Φ(x)，结合不变与特定特征，提升对领域偏移的鲁棒性。
• 采用具有独立头结构的神经网络架构，分别用于领域不变与领域特定特征提取，训练目标为因果调整目标。
• 使用反事实数据增强与消融研究，验证因果框架中各组件的有效性。

实验结果

研究问题

• RQ1 当目标领域在训练期间不可见时，因果框架是否能提升跨领域情感分析中的领域泛化能力？
• RQ2 后门调整在多大程度上能有效消除领域混淆因子对学习表示的影响？
• RQ3 解耦的领域不变与领域特定表示在多样化与同构数据集上的泛化能力提升程度如何？
• RQ4 在领域偏移存在的情况下，保留领域特定特征是否能带来优于纯不变表示学习的性能表现？
• RQ5 该方法在13个未见同构数据集上的评估中表现出多强的鲁棒性？

主要发现

• 所提方法在20多个同构与多样化数据集上均达到最先进性能，优于现有领域泛化基线方法。
• 模型在13个未见同构数据集上表现出强鲁棒性，证实其具备对先前未见领域的泛化能力。
• 消融研究证实，领域不变与领域特定两部分均至关重要，任一组件的移除均导致性能下降。
• 表示可视化显示，与基线模型相比，该模型学习到了更具解耦性与不变性的表示。
• 后门调整机制成功降低了虚假领域混淆因子的影响，从而提升了情感预测的可靠性。
• 该方法能有效处理如“hot”等模糊术语，通过利用领域特定上下文，正确识别不同领域中的情感倾向。