[论文解读] Agnostic Domain Generalization.

Fabio Maria Carlucci, Paolo Russo+2 more|arXiv (Cornell University)|Aug 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 36被引用 12

一句话总结

本文提出了一种领域泛化方法，通过从多个源域中幻化生成无偏见图像，以在无需标注甚至未标注目标数据的情况下提升跨领域泛化能力。通过使用在图像和特征层面均具备双重对抗性领域判别器的深度架构，模型将领域特定的风格与类别知识解耦，从而在多源域自适应和领域泛化设置中均实现了最先进性能。

ABSTRACT

The ability to generalize across visual domains is crucial for the robustness of artificial recognition systems. Although many training sources may be available in real contexts, the access to even unlabeled target samples cannot be taken for granted, which makes standard unsupervised domain adaptation methods inapplicable in the wild. In this work we investigate how to exploit multiple sources by hallucinating a deep visual domain composed of images, possibly unrealistic, able to maintain categorical knowledge while discarding specific source styles. The produced agnostic images are the result of a deep architecture that applies pixel adaptation on the original source data guided by two adversarial domain classifier branches at image and feature level. Our approach is conceived to learn only from source data, but it seamlessly extends to the use of unlabeled target samples. Remarkable results for both multi-source domain adaptation and domain generalization support the power of hallucinating agnostic images in this framework.

研究动机与目标

• 解决在真实场景中无法获取未标注目标数据时的领域泛化挑战。
• 开发一种方法，仅从多个源域学习鲁棒表征，而无需依赖目标域数据。
• 探究幻化生成的无偏见图像——内容真实但风格无偏——是否能提升视觉领域间的泛化能力。
• 设计一种可无缝集成未标注目标样本的训练框架，以增强灵活性。

提出的方法

• 该方法采用深度生成架构，从源数据中幻化生成图像，保留语义内容的同时去除领域特定风格。
• 使用两个对抗性领域判别器：一个作用于图像层面，另一个作用于特征层面，两者均用于解耦领域特定特征。
• 图像级判别器确保生成图像在视觉上合理但风格无偏，而特征级判别器则强制实现领域不变表征。
• 模型仅在源数据上进行训练，但仍能有效泛化至未见领域，即使在后期引入未标注目标数据亦然。
• 该框架通过对抗性训练和像素级适配，实现端到端的领域不变特征学习。
• 该方法可扩展以在训练过程中加入未标注目标样本，从而在无需标注的情况下提升性能。

实验结果

研究问题

• RQ1 当训练期间未提供目标域数据时，模型是否能有效泛化至视觉领域？
• RQ2 图像幻化在保留语义内容的同时去除领域特定风格方面，对提升泛化能力的效率如何？
• RQ3 仅在源数据上训练的模型，其性能在多大程度上可与使用目标数据的方法相媲美？
• RQ4 所提出的方法是否可扩展以在不重新训练的情况下加入未标注目标样本？
• RQ5 在图像和特征层面同时进行双重对抗性训练，是否能生成比单层次方法更优的领域不变表征？

主要发现

• 所提方法在多源域自适应基准上实现了最先进性能，即使在训练期间完全未使用任何目标数据。
• 幻化生成的无偏见图像有效保留了类别知识，同时去除了源域特定风格，从而实现强大泛化能力。
• 模型在未见领域上泛化良好，展示了在零样本领域泛化设置下的鲁棒性。
• 当引入未标注目标数据时，性能进一步提升，表明该方法具备灵活性与可扩展性。
• 在图像和特征层面的双重对抗性训练，相比单层次方法，能生成更解耦且领域不变的表征。
• 该方法在标准基准上优于现有领域泛化与无监督域自适应方法，证实了其有效性。