[论文解读] Cycle-consistent Conditional Adversarial Transfer Networks

Jingjing Li, Erpeng Chen+4 more|arXiv (Cornell University)|Sep 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

本文提出3CATN，一种循环一致的条件对抗迁移网络，通过引入两个特征转换器和循环一致性损失，确保域不变特征能够在不同域之间可靠地转换，从而提升域自适应性能。通过解决因分类器预测不准确导致的条件对抗训练不稳定性，3CATN在经典和大规模基准测试中均达到最先进性能，显著优于先前方法。

ABSTRACT

Domain adaptation investigates the problem of cross-domain knowledge transfer where the labeled source domain and unlabeled target domain have distinctive data distributions. Recently, adversarial training have been successfully applied to domain adaptation and achieved state-of-the-art performance. However, there is still a fatal weakness existing in current adversarial models which is raised from the equilibrium challenge of adversarial training. Specifically, although most of existing methods are able to confuse the domain discriminator, they cannot guarantee that the source domain and target domain are sufficiently similar. In this paper, we propose a novel approach named {\it cycle-consistent conditional adversarial transfer networks} (3CATN) to handle this issue. Our approach takes care of the domain alignment by leveraging adversarial training. Specifically, we condition the adversarial networks with the cross-covariance of learned features and classifier predictions to capture the multimodal structures of data distributions. However, since the classifier predictions are not certainty information, a strong condition with the predictions is risky when the predictions are not accurate. We, therefore, further propose that the truly domain-invariant features should be able to be translated from one domain to the other. To this end, we introduce two feature translation losses and one cycle-consistent loss into the conditional adversarial domain adaptation networks. Extensive experiments on both classical and large-scale datasets verify that our model is able to outperform previous state-of-the-arts with significant improvements.

研究动机与目标

• 解决由于分类器预测不准确导致的条件对抗域自适应中的不稳定性问题。
• 确保域不变特征能够被可靠地在源域与目标域之间转换。
• 通过引入循环一致的特征转换约束，提升域对齐效果。
• 在现有最先进方法的基础上，增强对抗域自适应的鲁棒性与性能。
• 验证特征转换器与循环一致性损失在减少不可靠分类器条件下的误差传播方面的有效性。

提出的方法

• 该方法采用条件对抗训练，其中域判别器同时基于学习到的特征和分类器预测，以捕捉多模态数据结构。
• 引入两个独立的特征转换器，分别实现从源域到目标域以及从目标域到源域的特征映射，支持域不变表示的双向转换。
• 应用循环一致性损失，强制要求将源域特征转换到目标域后再转回，应能重建原始特征，从而保证一致性。
• 模型通过分类损失、条件对抗损失、特征转换损失与循环一致性损失的组合进行端到端训练。
• 使用超参数λ=1, β=1, η₁=0.01, 和 η₂=0.1，敏感性分析表明模型在参数变化下具有稳定性。
• 该框架在Office-Home、DomainNet和VisDA-2017等多个域自适应基准上进行了评估。

实验结果

研究问题

• RQ1 域之间的特征转换是否能提升条件对抗训练在域自适应中的可靠性？
• RQ2 在特征转换中强制实施循环一致性，是否能带来更稳定且准确的域不变表示？
• RQ3 所提出的方法在条件域自适应中如何缓解因分类器预测不准确导致的性能下降？
• RQ4 特征转换器与循环一致性损失在多大程度上促成了相对于现有最先进方法的性能提升？
• RQ5 所提出的3CATN框架在真实世界域自适应场景中对超参数变化是否具有鲁棒性？

主要发现

• 在D→A和W→A基准上，3CATN分别取得73.1%和71.5%的准确率，显著优于先前的SOTA方法CDAN。
• 消融实验表明，添加特征转换损失后，D→A和W→A上的性能分别较CDAN提升0.9%和1.2%。
• 循环一致性损失在W→A上带来1.2%的准确率增益，证明其在保持特征完整性方面的有效性。
• 在定性分析中，3CATN在W→A上正确分类了CDAN误判的163个样本，同时在CDAN正确分类的所有样本上也保持了高性能。
• 模型展现出稳定的训练行为，可在10,000次迭代内收敛，且对超参数变化具有鲁棒性，尤其对β以及η₁、η₂参数表现稳定。
• 移除条件迁移损失（S4）后，D→A和W→A上的准确率分别下降至67.5%和66.9%，证实了条件监督的必要性。