[论文解读] Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector

Cheng-Chun Hsu, Yi‐Hsuan Tsai+2 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 40被引用 14

一句话总结

本文通过预测像素级置信度（objectness）和中心度（centerness）来指导对抗性特征对齐，提出了一种针对域自适应目标检测的中心感知特征对齐方法，聚焦于判别性目标区域。该方法通过减少背景噪声并在前景像素上提升对齐效果，在多个域自适应基准上实现了最先进性能。

ABSTRACT

A domain adaptive object detector aims to adapt itself to unseen domains that may contain variations of object appearance, viewpoints or backgrounds. Most existing methods adopt feature alignment either on the image level or instance level. However, image-level alignment on global features may tangle foreground/background pixels at the same time, while instance-level alignment using proposals may suffer from the background noise. Different from existing solutions, we propose a domain adaptation framework that accounts for each pixel via predicting pixel-wise objectness and centerness. Specifically, the proposed method carries out center-aware alignment by paying more attention to foreground pixels, hence achieving better adaptation across domains. We demonstrate our method on numerous adaptation settings with extensive experimental results and show favorable performance against existing state-of-the-art algorithms.

研究动机与目标

• 解决图像级和实例级特征对齐在域自适应目标检测中的局限性，这些方法对背景噪声和域间差异敏感。
• 通过聚焦于高置信度前景像素的对齐，减少背景像素带来的混淆，从而提升域自适应性能。
• 设计一种像素级引导机制，以增强域间特征分布的对齐，尤其在大域偏移场景下表现更优。
• 实现多尺度对齐，以应对目标尺度多样的情况，提升在目标域中不同尺度对象上的鲁棒性。

提出的方法

• 引入全卷积网络，预测整张图像的像素级置信度和中心度图，实现在对齐过程中对每个像素的关注。
• 利用预测的置信度和中心度图作为掩码，引导对抗性特征对齐，仅聚焦于高置信度前景区域。
• 通过对抗训练实现中心感知特征对齐，其中判别器仅在中心感知区域内区分源域和目标域特征。
• 设计一种多尺度对齐方案，在多个特征金字塔层级（F3 至 F7）上应用中心感知对齐，有效处理小、中、大尺寸目标。
• 将全局对齐（GA）与中心感知对齐（CA）相结合，兼顾全局分布匹配与局部判别性特征学习。
• 采用两阶段端到端训练流程：首先预测置信度和中心度图；其次在掩码特征上执行对抗性对齐。

实验结果

研究问题

• RQ1 像素级置信度和中心度预测是否能通过聚焦于判别性目标区域来提升目标检测中的域自适应性能？
• RQ2 中心感知特征对齐相较于图像级和实例级对齐，在减少域自适应过程中背景干扰方面表现如何？
• RQ3 多尺度中心感知对齐在处理不同尺寸目标的域自适应设置中，性能提升程度如何？
• RQ4 在存在大域偏移的挑战性场景下，中心感知对齐相对于全局对齐的贡献有多大？

主要发现

• 所提出的中心感知特征对齐方法在三个基准域自适应设置（Cityscapes→Foggy Cityscapes、Sim10k→Cityscapes、KITTI→Cityscapes）上均实现了最先进mAP性能。
• 在Sim10k→Cityscapes基准上，采用ResNet-101的完整模型相比仅使用全局对齐的基线，mAP^{r}_{0.75}提升2.2%，mAP^{r}_{S}提升1.4%，mAP^{r}_{M}提升3.9%。
• 消融实验表明，多尺度对齐（F3至F7）性能最佳，相比单尺度F5，mAP^{r}_{L}提升5.8%，相比F5–F7组合，mAP^{r}_{S}提升2.0%。
• 定性可视化显示，中心感知对齐显著提升了特征图中目标中心的定位能力，并有效减少了背景噪声。
• 在具有挑战性的场景下，该方法优于现有最先进方法，尤其在高IoU阈值（如mAP^{r}_{0.75}）和小目标检测方面表现更优。
• 消融实验确认，中心感知对齐在减少背景混淆方面最为有效，尤其在背景杂乱的目标域中表现突出。