[论文解读] MeGA-CDA: Memory Guided Attention for Category-Aware Unsupervised Domain Adaptive Object Detection

Vibashan VS, Vikram Gupta+3 more|arXiv (Cornell University)|Mar 6, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

MeGA-CDA 提出了一种记忆引导的注意力机制，以在无监督域自适应目标检测中实现类别感知的特征对齐，从而克服类别无关的域自适应带来的负迁移问题。通过使用度量学习增强的记忆库生成类别特定的注意力图，该方法在无需目标域标注的情况下，将特征路由至类别特定的判别器，进而在 Cityscapes 和 Foggy-Cityscapes 等基准数据集上实现了当前最优的 mAP 提升。

ABSTRACT

Existing approaches for unsupervised domain adaptive object detection perform feature alignment via adversarial training. While these methods achieve reasonable improvements in performance, they typically perform category-agnostic domain alignment, thereby resulting in negative transfer of features. To overcome this issue, in this work, we attempt to incorporate category information into the domain adaptation process by proposing Memory Guided Attention for Category-Aware Domain Adaptation (MeGA-CDA). The proposed method consists of employing category-wise discriminators to ensure category-aware feature alignment for learning domain-invariant discriminative features. However, since the category information is not available for the target samples, we propose to generate memory-guided category-specific attention maps which are then used to route the features appropriately to the corresponding category discriminator. The proposed method is evaluated on several benchmark datasets and is shown to outperform existing approaches.

研究动机与目标

• 为解决无监督目标检测中类别无关的域自适应带来的负迁移问题。
• 在不依赖目标域标注的情况下，将类别特定信息融入域自适应过程。
• 开发一种基于记忆的机制，生成类别感知的注意力图，以将特征路由至类别特定的判别器。
• 通过利用源域边界框提供的弱监督信号，采用度量学习提升记忆库的性能。
• 在无监督域自适应目标检测基准上实现当前最优的性能表现。

提出的方法

• 提出类别级判别器以执行局部联合分布匹配，确保类别感知的特征对齐。
• 引入记忆引导的注意力图，利用存储在类别特定记忆库中的原型特征，将特征路由至正确的判别器。
• 采用记忆网络存储并更新原型特征，实现长期模式保留。
• 使用主干网络生成的特征查询从记忆库中检索相似项，并基于相似度得分计算注意力图。
• 应用度量学习，利用源域边界框提供的弱监督信号，学习查询特征与记忆原型之间的相似度度量。
• 将记忆引导的注意力机制与 VGG16 主干网络中多个特征层（conv4 和 conv5）的全局域判别器相结合。

实验结果

研究问题

• RQ1 类别感知的特征对齐是否能减少无监督域自适应目标检测中的负迁移？
• RQ2 当目标域标注不可用时，如何生成类别特定的注意力？
• RQ3 记忆网络是否能有效学习并保留用于注意力图生成的类别特定特征原型？
• RQ4 与启发式相似度度量相比，度量学习是否能提升注意力图质量及整体检测性能？
• RQ5 在多层特征上采用类别感知对齐，能在多大程度上提升域偏移基准上的 mAP？

主要发现

• 在 Cityscapes → Foggy-Cityscapes 的域自适应任务中，MeGA-CDA 相较于仅使用源域的基线模型，mAP 提升达 4.1%。
• 在 conv4 和 conv5 两层均应用 MeGA-CDA 时，相比单层自适应，mAP 再提升 2%。
• 在 conv5 层使用基于度量学习的相似度计算，相比余弦相似度，mAP 提升 2.1%。
• 定性结果表明，MeGA-CDA 有效减少了由全局域对齐导致的误检和漏检。
• 基于度量学习生成的注意力图在目标区域上表现出更准确、更集中的关注区域，优于余弦相似度生成的结果。
• 该方法在多个基准数据集上实现了当前最优的性能表现，且无需任何目标域标注。