[论文解读] Diversify and Match: A Domain Adaptive Representation Learning Paradigm for Object Detection

Taekyung Kim, Minki Jeong+3 more|arXiv (Cornell University)|May 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用 32

一句话总结

本文提出了一种新颖的无监督目标检测领域自适应表示学习范式——Diversify and Match。该方法结合了领域多样化（DD），通过从源域生成多个偏移后的领域来缓解源域偏向的判别性；以及多领域不变表示学习（MRL），采用多领域判别器以在多个领域间强制实现特征不变性。该方法在多个数据集上实现了最先进性能，mAP相比之前的方法提升了3%–12%。

ABSTRACT

We introduce a novel unsupervised domain adaptation approach for object detection. We aim to alleviate the imperfect translation problem of pixel-level adaptations, and the source-biased discriminativity problem of feature-level adaptations simultaneously. Our approach is composed of two stages, i.e., Domain Diversification (DD) and Multi-domain-invariant Representation Learning (MRL). At the DD stage, we diversify the distribution of the labeled data by generating various distinctive shifted domains from the source domain. At the MRL stage, we apply adversarial learning with a multi-domain discriminator to encourage feature to be indistinguishable among the domains. DD addresses the source-biased discriminativity, while MRL mitigates the imperfect image translation. We construct a structured domain adaptation framework for our learning paradigm and introduce a practical way of DD for implementation. Our method outperforms the state-of-the-art methods by a large margin of 3%~11% in terms of mean average precision (mAP) on various datasets.

研究动机与目标

• 为解决特征级领域自适应中的源域偏向判别性问题，即模型过度专精于源域的问题。
• 克服像素级自适应中图像翻译不完善的问题，即领域转换器无法完全对齐源域与目标域的问题。
• 在零样本领域自适应场景下提升目标检测器的泛化能力，且无需目标域标注。
• 开发一种结构化、端到端的框架，集成领域多样化与多领域不变表示学习，以实现鲁棒的目标检测。

提出的方法

• 领域多样化（DD）通过保留颜色并施加重建约束的数据增强方法，从源域生成多个不同的偏移领域。
• 在训练过程中，每个偏移领域被视为独立的领域，从而丰富了有标注源数据的分布。
• 多领域不变表示学习（MRL）采用多领域判别器，将所有源偏移领域与目标领域的特征对齐。
• MRL阶段通过对抗性训练使所有领域的特征难以区分，从而促进领域不变表示的学习。
• 该框架被集成到基于Faster R-CNN的检测器中，实现检测与领域自适应的联合优化。
• 提出了一种DD的实际实现方式，利用受限数据增强生成多样化但语义一致的领域。

实验结果

研究问题

• RQ1 领域多样化是否能有效缓解目标检测中特征级领域自适应的源域偏向判别性问题？
• RQ2 多领域不变表示学习是否能缓解像素级自适应中图像翻译不完善的问题？
• RQ3 将领域多样化与多领域不变学习相结合，是否能在未见目标领域上实现更优的泛化性能？
• RQ4 多样化领域的数量如何影响领域自适应中的检测性能？

主要发现

• 所提方法在多个数据集上实现了最先进性能，mAP相比现有方法提升了3%至12%。
• 在PASCAL VOC → Clipart1k基准上，该方法实现了52.5%的分类准确率和68.5%的mIoU，显著优于基线模型和DAF。
• 消融实验表明，在使用三个偏移领域时，于DD之后添加MRL可带来8.0%的mAP性能提升，验证了完整流程的有效性。
• 仅使用DD相比基线可将背景检测错误降低15%，而将DD与MRL结合后，正确检测率相比基线提升了20%。
• 该方法在多种领域（包括真实世界、艺术媒体和城市场景数据集）中均表现出一致的性能提升。
• 误差分析表明，该方法显著减少了误定位和背景错误，同时提高了正确检测率。