[论文解读] Domain Confusion with Self Ensembling for Unsupervised Adaptation

Jiawei Wang, Zhaoshui He+5 more|arXiv (Cornell University)|Oct 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 18被引用 4

一句话总结

该论文提出了一种名为域混淆自集成（DCSE）的新颖无监督域自适应方法，通过联合优化特征不变性和类别不变性，利用域混淆和自集成来解决对抗性自适应中的训练不稳定性和错误混淆问题。该方法通过利用层级域一致性和样本级一致性，在多个基准测试中实现了最先进性能。

ABSTRACT

Data collection and annotation are time-consuming in machine learning, expecially for large scale problem. A common approach for this problem is to transfer knowledge from a related labeled domain to a target one. There are two popular ways to achieve this goal: adversarial learning and self training. In this article, we first analyze the training unstablity problem and the mistaken confusion issue in adversarial learning process. Then, inspired by domain confusion and self-ensembling methods, we propose a combined model to learn feature and class jointly invariant representation, namely Domain Confusion with Self Ensembling (DCSE). The experiments verified that our proposed approach can offer better performance than empirical art in a variety of unsupervised domain adaptation benchmarks.

研究动机与目标

• 解决对抗性无监督域自适应中的训练不稳定性问题。
• 通过联合学习域不变和类别不变表示来提升泛化能力。
• 结合域混淆与自集成的优势，实现更鲁棒的特征学习。
• 在标准无监督域自适应基准上实现最先进性能。

提出的方法

• 该方法引入一个域混淆模块，通过对抗性训练在源域和目标域之间对齐特征。
• 其包含一个自集成组件，通过数据增强生成的多次前向传播中强制预测一致性。
• 模型联合优化域混淆和自集成目标，以学习对域偏移和类别分布变化均不变的表示。
• 使用联合损失函数平衡域混淆和预测一致性，端到端更新特征和分类器参数。
• 该方法通过数据增强生成同一输入的多个视图，提升自集成的可靠性。

实验结果

研究问题

• RQ1 如何缓解对抗性域自适应中的训练不稳定性？
• RQ2 域不变性和类别不变性联合优化在多大程度上能提升自适应性能？
• RQ3 当与域混淆结合时，自集成能否增强无监督域自适应的鲁棒性？
• RQ4 所提出方法是否在标准基准上优于现有最先进方法？

主要发现

• 所提出的DCSE方法在多个无监督域自适应基准上相比现有最先进方法取得了更优性能。
• 域混淆与自集成的结合有效缓解了纯对抗方法中观察到的训练不稳定性。
• 通过强制同一样本的增强视图间预测一致，该方法缓解了错误混淆问题。
• 域不变性和类别不变性联合优化带来了更鲁棒且更具泛化能力的特征表示。