[论文解读] Domain Adaptation and Image Classification via Deep Conditional Adaptation Network

Pengfei Ge, Chuan-Xian Ren+2 more|arXiv (Cornell University)|Jun 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

本文提出了一种新型无监督域自适应方法——深度条件自适应网络（DCAN），通过条件最大均值差异（CMMD）对齐源域与目标域深层特征的条件分布，并利用互信息最大化增强判别性特征学习。DCAN在标准域自适应与部分域自适应基准上均取得了最先进性能，通过缓解负迁移并提升对标签分布偏移的鲁棒性，超越了现有方法。

ABSTRACT

Unsupervised domain adaptation aims to generalize the supervised model trained on a source domain to an unlabeled target domain. Marginal distribution alignment of feature spaces is widely used to reduce the domain discrepancy between the source and target domains. However, it assumes that the source and target domains share the same label distribution, which limits their application scope. In this paper, we consider a more general application scenario where the label distributions of the source and target domains are not the same. In this scenario, marginal distribution alignment-based methods will be vulnerable to negative transfer. To address this issue, we propose a novel unsupervised domain adaptation method, Deep Conditional Adaptation Network (DCAN), based on conditional distribution alignment of feature spaces. To be specific, we reduce the domain discrepancy by minimizing the Conditional Maximum Mean Discrepancy between the conditional distributions of deep features on the source and target domains, and extract the discriminant information from target domain by maximizing the mutual information between samples and the prediction labels. In addition, DCAN can be used to address a special scenario, Partial unsupervised domain adaptation, where the target domain category is a subset of the source domain category. Experiments on both unsupervised domain adaptation and Partial unsupervised domain adaptation show that DCAN achieves superior classification performance over state-of-the-art methods.

研究动机与目标

• 为解决无监督域自适应中边缘分布对齐的局限性，该方法忽略了特征与标签之间的条件依赖，存在负迁移风险。
• 开发一种有效对齐条件分布 $P^s(Z|Y)$ 与 $P^t(Z|Y)$ 的方法，以减少域差异，同时保留判别性信息。
• 处理目标域仅包含源域类别子集的挑战性部分无监督域自适应（Partial UDA）场景。
• 通过利用样本与预测标签之间的互信息，提升无标签目标域中的特征判别性。
• 提供一种对条件域自适应具有鲁棒性、高效且可扩展的方法，能泛化于多种域偏移场景。

提出的方法

• DCAN 最小化源域与目标域深层特征条件分布之间的条件最大均值差异（CMMD），以对齐 $P^s(Z|Y)$ 与 $P^t(Z|Y)$。
• 该方法采用基于核函数的 CMMD 估计方法，无需每类统计信息或对抗性训练，即可度量条件分布之间的差异。
• 引入额外的互信息最大化目标，从无标签目标样本中提取判别性信息，从而提升伪标签质量。
• 通过联合损失函数联合优化 CMMD 最小化与互信息最大化，实现端到端训练，有效应对域偏移下的特征学习。
• DCAN 设计为对小批量样本具有鲁棒性，且无需对批量大小等超参数进行微调。
• 该框架通过避免对不存在类别的误分类，支持标准 UDA 与部分 UDA，其中目标类别是源类别的一个子集。

实验结果

研究问题

• RQ1 通过 CMMD 实现的条件分布对齐，是否比无监督域自适应中的边缘分布对齐更有效地减少域差异？
• RQ2 在无标签目标数据上，引入特征与预测之间互信息如何改善模型泛化能力？
• RQ3 DCAN 是否能有效处理目标类别为源类别子集的部分 UDA 场景，避免对不存在类别的误分类？
• RQ4 在多样化的域偏移场景下，DCAN 相较于 SOTA 方法（如 DANN 与 DDC）在准确率与鲁棒性方面表现如何？
• RQ5 CMMD 估计的计算成本是多少？其随批量大小与特征维度的变化如何？

主要发现

• 在 Office-31 数据集上，当使用真实标签进行 CMMD 估计时，DCAN 的分类准确率接近 100%，显著优于伪标签版本。
• 在更具挑战性的 W→A 与 D→A 任务中，使用真实标签的 DCAN 相较于伪标签变体，准确率提升约 20%。
• 在 Office-Home 数据集的部分 UDA 场景（C→P）中，即使目标域仅包含 5 个类别，DCAN 的准确率仍保持在 75% 以上，而 DANN 的性能低于源域仅训练基线。
• DCAN 的训练时间比 DANN 长约 6%，比 DDC 长约 11%，主要源于核矩阵计算，但其计算开销在实际部署中仍具可行性。
• 该方法对小批量大小（如 n=8）表现出鲁棒性，表明在实际应用中对超参数调优的需求极低。
• 消融研究证实，基于 CMMD 的条件对齐比边缘对齐更有效减少负迁移，尤其在部分 UDA 场景中表现更优。