[论文解读] Domain Adaptation for Object Detection via Style Consistency

Adrian Rodriguez, Krystian Mikolajczyk|arXiv (Cornell University)|Nov 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用 60

一句话总结

本文提出一个用于目标检测的两步域自适应方法：（1）像素级风格迁移以通过特征一致性约束弥合低级风格差距；（2）鲁棒伪标签以适应高级特征，在 SSD300 上对 VOC 与风格变体目标域进行评估。

ABSTRACT

We propose a domain adaptation approach for object detection. We introduce a two-step method: the first step makes the detector robust to low-level differences and the second step adapts the classifiers to changes in the high-level features. For the first step, we use a style transfer method for pixel-adaptation of source images to the target domain. We find that enforcing low distance in the high-level features of the object detector between the style transferred images and the source images improves the performance in the target domain. For the second step, we propose a robust pseudo labelling approach to reduce the noise in both positive and negative sampling. Experimental evaluation is performed using the detector SSD300 on PASCAL VOC extended with the dataset proposed in arxiv:1803.11365 where the target domain images are of different styles. Our approach significantly improves the state-of-the-art performance in this benchmark.

研究动机与目标

• 在源域与目标域在低级和高级特征上存在差异时，动机化目标检测的域自适应。
• 开发像素级风格迁移方法，在减小低级域差距的同时强制实现高级特征的一致性。
• 引入鲁棒伪标签策略以使检测器适应目标域中的高级差异。
• 将风格迁移、特征一致性与鲁棒伪标签整合到一个统一的训练目标中。
• 在 SSD300 上对搭配 PASCAL VOC 的风格多样化目标域（Clipart、Watercolor、Comic）进行经验验证。

提出的方法

• 使用 Adaptive Instance Normalization 风格迁移从每个源图像 x_S 生成多种风格转换变体 x_S→T。
• 通过在 K 个最后的特征图 f_k(x_S) 与 f_k(x_S→T) 之间最小化距离来实现特征一致性。
• 在 x_S 与 x_S→T 上使用标准损失训练 SSD，以促进对低级特征的鲁棒性。
• 对目标域图像应用鲁棒伪标签，通过对 h(b) 的阈值设定选择高置信检测作为正样本，并用单独的阈值抽样负样本以降低噪声。
• 为 x_T 与 x_T→T 生成伪标签，并使用源域和目标域风格增强数据重新训练。
• 将损失合并为一个目标函数 L = λ1 L_ST + λ2 L_Cons + λ3 L_S + λ4 L_RPL，采用两步训练（第一阶段使用源域和风格转移数据，第二阶段包含伪标签目标数据）。

实验结果

研究问题

• RQ1 风格基于像素的自适应是否能单独缩小在视觉风格差异较大的情况下的目标检测域差？
• RQ2 在原始图像和风格转移图像之间强制高级特征一致性是否提高检测器对低级变化的鲁棒性？
• RQ3 在目标域图像上引入鲁棒伪标签是否进一步帮助分类器适应高级域迁移？
• RQ4 将风格迁移、特征一致性和鲁棒伪标签结合起来对跨域检测性能有何影响？

主要发现

• 与仅使用域迁移图像相比，带有特征一致性的风格迁移在风格多样化域上提升了检测性能。
• 强制高级特征一致性在 Clipart1k、Watercolor2k 和 Comic2k 数据集上带来额外增益。（定量细节见论文结果。）
• 使用目标域和风格转移目标域图像的鲁棒伪标签在仅使用风格迁移或伪标签之一时的性能基础上进一步提升。
• 综合方法在所评估的基准上相对于若干先前的域自适应方法实现了最先进的改进。