[论文解读] Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation

Yawei Luo, Ping Liu+3 more|arXiv (Cornell University)|Apr 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 66

一句话总结

本论文介绍 Adversarial Style Mining (ASM)，一个端到端框架，将一个 Random AdaIN 风格生成器与任务模型结合起来，通过在任务模型反馈的引导下迭代挖掘更难的目标样式，实现一次性无监督领域自适应。

ABSTRACT

We aim at the problem named One-Shot Unsupervised Domain Adaptation. Unlike traditional Unsupervised Domain Adaptation, it assumes that only one unlabeled target sample can be available when learning to adapt. This setting is realistic but more challenging, in which conventional adaptation approaches are prone to failure due to the scarce of unlabeled target data. To this end, we propose a novel Adversarial Style Mining approach, which combines the style transfer module and task-specific module into an adversarial manner. Specifically, the style transfer module iteratively searches for harder stylized images around the one-shot target sample according to the current learning state, leading the task model to explore the potential styles that are difficult to solve in the almost unseen target domain, thus boosting the adaptation performance in a data-scarce scenario. The adversarial learning framework makes the style transfer module and task-specific module benefit each other during the competition. Extensive experiments on both cross-domain classification and segmentation benchmarks verify that ASM achieves state-of-the-art adaptation performance under the challenging one-shot setting.

研究动机与目标

• 解决在训练期间只有一个未标记的目标样本可用的 OSUDA 问题。
• 使模型能够探索超出单样本的目标域风格，以提升泛化能力。
• 提出一个可微分的对抗框架，联合优化风格生成和任务性能。
• 引入一种新颖的 Random AdaIN (RAIN) 模块，使 ASM 内的风格搜索可微且梯度友好。
• 在跨域分类和语义分割的单 shot 设置下展示最先进的性能。

提出的方法

• 我们将 ASM 形成一个端到端的对抗循环，在风格化图像生成器 G 与任务特定模型 M 之间，其中 G 由锚定目标风格驱动，并通过 Random AdaIN (RAIN) 模块增强。
• RAIN 通过加入一个风格 VAE 来编码和采样风格，使风格生成对端到端学习可微分且梯度友好。
• 从单样本目标学习的风格分布中抽取的采样向量 ε，通过基于任务损失梯度的迭代扰动来挖掘更难的风格。
• 训练 M 的损失将风格化样本上的任务损失与一致性损失相结合，以鼓励不同风格化之间的语义稳定性，形成 L_M = L_task + λ L_consist。
• 风格挖掘过程在预定义深度 n 内迭代更新 ε，以在锚定风格周围产生逐步更难的风格化样本。
• 训练使用带标签的源数据和单一目标样本作为风格锚点，而不需要目标标签。

实验结果

研究问题

• RQ1 能否利用一次性未标记目标数据通过对抗性风格挖掘学习鲁棒的领域自适应模型？
• RQ2 可微分的风格生成机制（RAIN）是否通过持续提供更难但相关的目标风格变体来实现有效的端到端 OSUDA？
• RQ3 在分类和分割基准上，ASM 相较现有的 OSUDA 和一次性风格迁移方法有何表现？
• RQ4 在训练过程中，被挖掘的风格的稳定性属性和风格分布特征是什么？

主要发现

• ASM 在单-shot 跨域分类基准 MNIST-USPS-SVHN 上达到最先进结果，优于若干UDA和单-shot风格迁移基线。
• 在分类任务中，ASM 在 M→S 上达到 46.3%，在 U→S 上达到 40.3%，超过单-shot 设置下的竞争方法。
• 在分割基准（SYNTHIA/GTA5 和 Cityscapes）上，ASM 相较多种 DA 方法在单-shot 下获得更优的平均IoU，且接近或超越某些少-shot 基线。
• 该方法在常规（数据丰富）UDA 下保持竞争力，在单-shot 约束下的性能下降更小，表明鲁棒的风格挖掘。
• 训练分析表明 M 与风格向量 ε 之间的对抗循环是稳定的，L_M 收敛到较小值，挖掘的风格围绕锚定目标风格分布。
• 经验性可视化（t-SNE）表明挖掘的风格覆盖了围绕锚定风格的未见但相关的目标风格。