[论文解读] Deep causal representation learning for unsupervised domain adaptation

Raha Moraffah, Kai Shu+2 more|arXiv (Cornell University)|Oct 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 7

一句话总结

本文提出DCDAN，一种用于无监督域适应的深度因果表征学习框架，通过重新加权源样本模拟虚拟目标域，学习域不变的因果特征。与依赖虚假相关性的方法不同，DCDAN通过估计因果效应，提升了特征可迁移性，并在基准数据集上实现了最先进性能，实证验证表明其在注意力热图中对因果特征的定位更加优越。

ABSTRACT

Studies show that the representations learned by deep neural networks can be transferred to similar prediction tasks in other domains for which we do not have enough labeled data. However, as we transition to higher layers in the model, the representations become more task-specific and less generalizable. Recent research on deep domain adaptation proposed to mitigate this problem by forcing the deep model to learn more transferable feature representations across domains. This is achieved by incorporating domain adaptation methods into deep learning pipeline. The majority of existing models learn the transferable feature representations which are highly correlated with the outcome. However, correlations are not always transferable. In this paper, we propose a novel deep causal representation learning framework for unsupervised domain adaptation, in which we propose to learn domain-invariant causal representations of the input from the source domain. We simulate a virtual target domain using reweighted samples from the source domain and estimate the causal effect of features on the outcomes. The extensive comparative study demonstrates the strengths of the proposed model for unsupervised domain adaptation via causal representations.

研究动机与目标

• 为解决现有无监督域适应方法依赖相关性所带来的局限性，这些相关性在不同域之间可能不具备可迁移性。
• 开发一种框架，学习因果特征表征——即直接对预测结果负责的特征——而非虚假或基于上下文的相关性。
• 通过重新加权源样本，模拟一个虚拟目标域，以隔离因果效应并实现不变表征学习。
• 在深度神经网络流水线中，联合优化特征表征与样本权重，实现端到端的因果表征学习。

提出的方法

• 该框架通过重新加权源域中的样本，构建一个虚拟目标域，以平衡混淆变量。
• 利用逆概率加权估计在模拟目标域中特征对结果的因果效应。
• 通过交替随机梯度下降，联合优化深度神经网络参数与样本权重。
• 因果特征表征被识别为在虚拟目标域中与结果最强烈相关的特征，其中虚假相关性已被消除。
• 该方法将因果表征学习嵌入深度学习流水线，支持端到端训练，结合分类损失与域不变性损失。
• 理论证明表明，在重新加权的虚拟域中，仅因果特征与结果保持相关，而虚假相关性则消失。

实验结果

研究问题

• RQ1 能否在无标签目标数据的情况下，学习到无监督域适应中的因果特征表征？
• RQ2 基于因果效应学习表征是否能比基于相关性学习带来更好的泛化性能？
• RQ3 通过样本重加权实现的虚拟域适应能否有效模拟目标域，以隔离因果特征？
• RQ4 所学习的因果表征在定位与可解释性方面，与标准深度网络学习的表征相比如何？
• RQ5 所提出方法在多大程度上提升了在域偏移下的分类准确率与特征不变性？

主要发现

• DCDAN通过学习因果表征而非依赖虚假相关性，在多个无监督域适应基准上实现了最先进性能。
• 模型显著提升了特征可迁移性，表现为在目标域分类任务中准确率更高。
• 热图可视化显示，DCDAN聚焦于与结果有因果关联的结构特征（如猫的眼睛、耳朵），而ResNet-50则同时关注内容与上下文。
• 消融研究证实，控制样本方差与权重正则化的超参数对模型性能具有显著影响。
• 理论证明表明，在模拟的虚拟目标域中，仅因果特征与结果保持相关，验证了该方法核心假设的正确性。
• 网络权重与样本权重的联合优化，使模型能够学习到对预测任务因果贡献最高的表征。