[论文解读] Gradual Domain Adaptation without Indexed Intermediate Domains

Hong-You Chen, Wei‐Lun Chao|arXiv (Cornell University)|Jul 11, 2022

Domain Adaptation and Few-Shot Learning参考文献 45被引用 13

一句话总结

该论文提出IDOL，一种新颖的渐进式域自适应（GDA）框架，能够从未经索引的无标签数据中自动发现有意义的中间域序列，而无需依赖预定义的域标签。通过结合渐进式域判别器训练以实现粗粒度域评分，以及循环一致性损失以实现细粒度域精炼，IDOL在性能上达到或超越了依赖预标注中间域的GDA方法，显著提升了GDA在实际场景中的适用性，尤其在缺乏域索引的情况下。

ABSTRACT

The effectiveness of unsupervised domain adaptation degrades when there is a large discrepancy between the source and target domains. Gradual domain adaptation (GDA) is one promising way to mitigate such an issue, by leveraging additional unlabeled data that gradually shift from the source to the target. Through sequentially adapting the model along the "indexed" intermediate domains, GDA substantially improves the overall adaptation performance. In practice, however, the extra unlabeled data may not be separated into intermediate domains and indexed properly, limiting the applicability of GDA. In this paper, we investigate how to discover the sequence of intermediate domains when it is not already available. Concretely, we propose a coarse-to-fine framework, which starts with a coarse domain discovery step via progressive domain discriminator training. This coarse domain sequence then undergoes a fine indexing step via a novel cycle-consistency loss, which encourages the next intermediate domain to preserve sufficient discriminative knowledge of the current intermediate domain. The resulting domain sequence can then be used by a GDA algorithm. On benchmark data sets of GDA, we show that our approach, which we name Intermediate DOmain Labeler (IDOL), can lead to comparable or even better adaptation performance compared to the pre-defined domain sequence, making GDA more applicable and robust to the quality of domain sequences. Codes are available at https://github.com/hongyouc/IDOL.

研究动机与目标

• 为解决渐进式域自适应（GDA）方法依赖预定义、索引化的中间域这一局限性，而此类域在实际中往往不可用。
• 开发一种方法，能够从未经索引的无标签中间数据中自动发现有意义的中间域序列。
• 提升GDA在实际场景中的鲁棒性与适用性，尤其在缺乏域标签或基于时间的索引时。
• 确保所发现的域序列能够保留从源域到目标域的判别性知识，从而实现有效的分步自适应。

提出的方法

• 粗粒度域发现阶段采用渐进训练的域判别器，从源域和目标域数据开始，逐步引入中间数据，以估计其与源域或目标域的接近程度。
• 域判别器通过迭代方式训练，逐步加入与源域或目标域越来越接近的数据点，从而提升对流形结构敏感的域评分。
• 细粒度索引阶段利用循环一致性损失，通过确保在下一中间域上适应的模型能够被‘反向适应’回当前域并恢复相同的伪标签，来识别下一个中间域。
• 通过自训练生成当前域的伪标签，随后用于在下一域上训练模型，并通过重建损失强制执行循环一致性。
• 该框架以贪婪且顺序的方式应用，从未经索引的中间数据中构建完整的域序列。
• 所得到的域序列可与任意标准GDA算法结合使用，以提升自适应性能。

实验结果

研究问题

• RQ1 能否在不依赖时间戳等辅助信息的情况下，从未经索引的无标签中间数据中有效发现域序列？
• RQ2 与启发式方法或直接聚类方法相比，粗粒度到细粒度的框架如何提升中间域发现的质量？
• RQ3 循环一致性损失在多大程度上增强了连续中间域之间判别性知识的保留？
• RQ4 所提出的方法是否能达到或超越使用预定义域序列的GDA性能？

主要发现

• IDOL在基准数据集上的目标域准确率与使用预定义域序列的GDA相当或更优，证明了其在真实场景中的有效性。
• 渐进式域判别器在粗粒度域评分中优于其他距离估计方法，尤其在捕捉数据流形结构方面表现更佳。
• 循环一致性损失通过确保连续域之间知识传递的一致性，显著提升了域序列的质量。
• 在CIFAR10-to-STL UDA基准上，IDOL的GDA性能优于直接UDA和使用预标注域的GDA，即使在过滤掉80%低置信度中间数据的情况下依然如此。
• IDOL对噪声或异常值中间数据具有鲁棒性，在大量数据被过滤后仍能保持高性能。