[论文解读] Butterfly: A Panacea for All Difficulties in Wildly Unsupervised Domain Adaptation.

Feng Liu, Jie Lü+4 more|arXiv (Cornell University)|May 19, 2019

Domain Adaptation and Few-Shot Learning被引用 21

一句话总结

本文提出 Butterfly，一种新颖的广义无监督域自适应（WUDA）框架，其中源域数据存在噪声且无标签，目标域数据为无标签数据。通过同时维护四个模型——两个用于噪声校正和域对齐，两个用于目标分类——Butterfly 有效处理了标签噪声、域偏移和分布差异问题，在 WUDA 设置下实现了最先进性能。

ABSTRACT

In unsupervised domain adaptation (UDA), classifiers for the target domain (TD) are trained with clean labeled data from the source domain (SD) and unlabeled data from TD. However, in the wild, it is hard to acquire a large amount of perfectly clean labeled data in SD given limited budget. Hence, we consider a new, more realistic and more challenging problem setting, where classifiers have to be trained with noisy labeled data from SD and unlabeled data from TD---we name it wildly UDA (WUDA). We show that WUDA provably ruins all UDA methods if taking no care of label noise in SD, and to this end, we propose a Butterfly framework, a panacea for all difficulties in WUDA. Butterfly maintains four models (e.g., deep networks) simultaneously, where two take care of all adaptations (i.e., noisy-to-clean, labeled-to-unlabeled, and SD-to-TD-distributional) and then the other two can focus on classification in TD. As a consequence, Butterfly possesses all the necessary components for all the challenges in WUDA. Experiments demonstrate that under WUDA, Butterfly significantly outperforms existing baseline methods.

研究动机与目标

• 解决源域数据存在噪声且目标域数据无标签的现实但具有挑战性的广义无监督域自适应（WUDA）设置。
• 指出现有 UDA 方法在 WUDA 设置下会因未解决的源域标签噪声而彻底失败。
• 开发一个统一框架，同时解决 WUDA 中的标签噪声、域偏移和分布差异问题。
• 提供一种鲁棒解决方案，在源数据标注不完美时仍能保持高性能，反映现实世界中的数据采集约束。

提出的方法

• Butterfly 同时维护四个深度神经网络：两个用于自适应（噪声校正和域对齐），两个用于目标分类。
• 自适应模型联合学习以校正源域中的标签噪声并对齐源域与目标域的分布。
• 该框架采用双分支结构，将噪声校正与分类解耦，从而实现稳定且准确的学习。
• 它利用一致性正则化和自训练原则，对目标数据的伪标签进行优化，提升鲁棒性。
• 四模型设置支持端到端优化，联合最小化由噪声引起的误差和域偏移。
• 该方法对特定主干网络架构保持无感知，支持灵活实现。

实验结果

研究问题

• RQ1 现有无监督域自适应方法能否泛化到存在标签噪声的源域设置下，还是会在这些条件下彻底失败？
• RQ2 在 WUDA 中，需要哪些架构和训练组件才能同时解决标签噪声、域偏移和分布差异问题？
• RQ3 一个包含多个专用模型的统一框架是否能在更真实的 WUDA 设置下超越现有方法？
• RQ4 所提出的 Butterfly 框架在源域标签噪声水平不断提高的情况下，如何保持性能？

主要发现

• Butterfly 在 WUDA 设置下显著优于现有 UDA 基线方法，展现出对标签噪声的优越鲁棒性。
• 该框架有效缓解了由源域标签噪声引起的性能下降，而这类问题会破坏标准 UDA 方法。
• 四模型架构实现了稳定训练，并在多个基准数据集上持续提升性能。
• Butterfly 在标准 WUDA 基准测试中实现了最先进准确率，验证了其在同时处理多重挑战方面的有效性。
• 消融实验确认，噪声校正和域对齐组件对实现最优性能均至关重要。
• 该方法在不同主干网络和数据分布上均表现出良好泛化能力，表明其具备强大的鲁棒性和适应性。