[论文解读] DART: Domain-Adversarial Residual-Transfer Networks for Unsupervised Cross-Domain Image Classification

Xianghong Fang, Haoli Bai+4 more|arXiv (Cornell University)|Dec 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用 9

一句话总结

本文提出DART，一种新颖的无监督域自适应方法，通过域对抗性训练联合学习域不变特征，并通过残差迁移策略提升分类鲁棒性，从而增强跨域图像分类性能。该方法通过建模标签分类器偏移并对齐特征与标签的联合分布，在基准数据集上超越了当前最先进方法。

ABSTRACT

The accuracy of deep learning (e.g., convolutional neural networks) for an image classification task critically relies on the amount of labeled training data. Aiming to solve an image classification task on a new domain that lacks labeled data but gains access to cheaply available unlabeled data, unsupervised domain adaptation is a promising technique to boost the performance without incurring extra labeling cost, by assuming images from different domains share some invariant characteristics. In this paper, we propose a new unsupervised domain adaptation method named Domain-Adversarial Residual-Transfer (DART) learning of Deep Neural Networks to tackle cross-domain image classification tasks. In contrast to the existing unsupervised domain adaption approaches, the proposed DART not only learns domain-invariant features via adversarial training, but also achieves robust domain-adaptive classification via a residual-transfer strategy, all in an end-to-end training framework. We evaluate the performance of the proposed method for cross-domain image classification tasks on several well-known benchmark data sets, in which our method clearly outperforms the state-of-the-art approaches.

研究动机与目标

• 为解决目标域无标注数据的无监督跨域图像分类挑战。
• 克服现有域自适应方法假设源域与目标域分类器相同所带来的局限性，此类假设常因域偏移而失效。
• 通过联合对齐域间特征与标签的联合分布，提升特征可迁移性。
• 通过使用扰动函数建模源域与目标域分类器间的微小偏移，提升分类器对域偏移的鲁棒性。
• 通过标准反向传播实现端到端训练，提升可扩展性与实际部署可行性。

提出的方法

• 提出一种包含三个组件的域对抗性残差迁移（DART）网络架构：特征提取器、标签分类器与域分类器。
• 采用域对抗性训练，通过使源域与目标域特征难以区分，最小化域差异。
• 在标签分类器中引入残差模块，以建模源域与目标域分类器间的扰动，提升对域偏移的鲁棒性。
• 利用克罗内克积对齐特征与标签的联合分布，生成特征-标签映射，增强判别能力。
• 采用联合优化框架，以端到端方式同时最小化域差异与分类误差。
• 利用标准反向传播进行训练，确保与大多数深度学习框架的兼容性。

Figure 1: A well-trained source classifier may fail to classify images in the target domain correctly. By adding a perturbation function, the target classifier corrects the mistakes made by the source classifier on the target domain. Here the red dots and green triangles denote image samples from th

实验结果

研究问题

• RQ1 与边缘分布对齐相比，联合对齐特征与标签的分布是否能提升无监督域自适应性能？
• RQ2 在跨域设置中，建模源域与目标域分类器间的扰动如何提升分类鲁棒性？
• RQ3 域对抗性训练与残差迁移学习相结合，是否能在无监督跨域图像分类中超越现有SOTA方法？
• RQ4 当目标域无标注数据时，所提方法在多大程度上减轻了域偏移的影响？
• RQ5 所提出的端到端可训练DART框架是否在多样化的基准数据集上保持可扩展性与泛化能力？

主要发现

• DART在多个无监督跨域图像分类基准数据集上达到SOTA性能。
• 该方法通过联合对齐特征与标签的联合分布，显著优于DANN及其他SOTA方法。
• 残差迁移策略能有效纠正源分类器在目标域样本上产生的误分类，如图1所示。
• 结合域对抗性训练与联合分布对齐，可生成更具判别性与域不变性的特征。
• 模型展现出强鲁棒性与可扩展性，端到端训练与标准深度学习库兼容。
• 实证结果证实，建模分类器扰动可提升泛化能力，尤其在源域与目标域存在微小但显著分布偏移时效果更明显。

Figure 2: The architectures of Domain-Adversarial Residual-Transfer Networks (DART), which consists of a deep feature extractor (yellow), a deep label classifier (blue) and a domain classifier (purple). $\oplus$ means the plus operator while $\otimes$ represents the Kronecker product. The crossing l