[论文解读] Joint Pixel and Feature-level Domain Adaptation in the Wild.

Luan Tran, Kihyuk Sohn+3 more|arXiv (Cornell University)|Feb 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 11被引用 3

一句话总结

本文提出了一种联合像素级与特征级域自适应框架，结合了在特征层面的域对抗性熵最小化，以及在像素层面的3D几何感知图像合成与属性条件化CycleGAN。该方法通过显式建模命名的可变因素（例如姿态、光照）并利用互补的自适应策略隐式处理未知因素，在无标签监控图像上的车辆识别任务中实现了最先进性能。

ABSTRACT

Recent developments in deep domain adaptation have allowed knowledge transfer from a labeled source domain to an unlabeled target domain at the level of intermediate features or input pixels. We propose that advantages may be derived by combining them, in the form of different insights that lead to a novel design and complementary properties that result in better performance. At the feature level, inspired by insights from semi-supervised learning in a domain adversarial neural network, we propose a novel regularization in the form of domain adversarial entropy minimization. Next, we posit that insights from computer vision are more amenable to injection at the pixel level and specifically address the key challenge of adaptation across different semantic levels. In particular, we use 3D geometry and image synthesization based on a generalized appearance flow to preserve identity across higher-level pose transformations, while using an attribute-conditioned CycleGAN to translate a single source into multiple target images that differ in lower-level properties such as lighting. We validate on a novel problem of car recognition in unlabeled surveillance images using labeled images from the web, handling explicitly specified, nameable factors of variation through pixel-level and implicit, unspecified factors through feature-level adaptation. Extensive experiments achieve state-of-the-art results, demonstrating the effectiveness of complementing feature and pixel-level information via our proposed domain adaptation method.

研究动机与目标

• 为改善真实场景中标签源数据（例如网络图像）与无标签目标数据（例如监控视频）显著不同的域自适应问题。
• 解决通过互补自适应策略适应显式可命名可变因素（例如姿态、光照）与隐式未指定因素的挑战。
• 开发一个统一框架，结合像素级与特征级自适应，以提升跨域识别任务中的泛化能力。
• 验证在真实识别任务中，将几何图像合成与域对抗学习相结合的有效性。

提出的方法

• 提出域对抗性熵最小化作为新型正则化技术，应用于特征层面，受半监督学习与域对抗网络的启发。
• 利用3D几何与广义外观流，合成在不同姿态下保持身份一致的图像，实现对语义级变换的鲁棒适应。
• 采用属性条件化CycleGAN，生成具有光照与色彩等低级属性变化的多样化目标域图像。
• 联合优化域对齐与特征解耦，结合像素级与特征级自适应模块的输出。
• 同时实现对命名因素（例如姿态、光照）的显式控制，以及通过对抗训练对未知因素的隐式建模。
• 使用带标签的源图像与无标签的目标图像端到端训练模型，无需域间成对数据。

实验结果

研究问题

• RQ1 结合像素级与特征级域自适应是否能提升在真实、非受限识别任务中的性能？
• RQ2 3D几何与外观流在图像合成中，能否在姿态与视角变化下有效保持身份？
• RQ3 在缺乏显式监督的情况下，域对抗性熵最小化在多大程度上能增强特征级域对齐？
• RQ4 属性条件化图像转换是否能有效建模低级域偏移，如光照与色彩变化？
• RQ5 在跨域车辆识别中，联合使用显式与隐式自适应策略与单一层次方法相比有何优势？

主要发现

• 所提方法在使用网络来源带标签图像与无标签监控视频的新车辆识别基准上实现了最先进性能。
• 在像素与特征两个层面联合自适应显著优于仅依赖像素级或特征级自适应的方法。
• 利用3D几何与外观流，可在合成的目标图像中有效保持大姿态变化下的身份一致性。
• 属性条件化CycleGAN成功生成多样化且逼真的目标域图像，且光照与色彩变化可控。
• 域对抗性熵最小化有效减少了中间特征中的域偏移，提升了对未见目标域的泛化能力。
• 该方法在真实监控环境中对命名（如姿态、光照）与未命名可变因素均表现出强鲁棒性。