[论文解读] Multi-adversarial Faster-RCNN for Unrestricted Object Detection

Zhenwei He, Lei Zhang|arXiv (Cornell University)|Jul 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用 42

一句话总结

该论文提出了 MAF，一种基于 Faster-RCNN 的检测器，使用分层多对抗域特征对齐和聚合的提案特征，以及带权梯度反转层，以实现跨标注源域和未标注目标域的无约束对象检测。

ABSTRACT

Conventional object detection methods essentially suppose that the training and testing data are collected from a restricted target domain with expensive labeling cost. For alleviating the problem of domain dependency and cumbersome labeling, this paper proposes to detect objects in an unrestricted environment by leveraging domain knowledge trained from an auxiliary source domain with sufficient labels. Specifically, we propose a multi-adversarial Faster-RCNN (MAF) framework for unrestricted object detection, which inherently addresses domain disparity minimization for domain adaptation in feature representation. The paper merits are in three-fold: 1) With the idea that object detectors often becomes domain incompatible when image distribution resulted domain disparity appears, we propose a hierarchical domain feature alignment module, in which multiple adversarial domain classifier submodules for layer-wise domain feature confusion are designed; 2) An information invariant scale reduction module (SRM) for hierarchical feature map resizing is proposed for promoting the training efficiency of adversarial domain adaptation; 3) In order to improve the domain adaptability, the aggregated proposal features with detection results are feed into a proposed weighted gradient reversal layer (WGRL) for characterizing hard confused domain samples. We evaluate our MAF on unrestricted tasks, including Cityscapes, KITTI, Sim10k, etc. and the experiments show the state-of-the-art performance over the existing detectors.

研究动机与目标

• 通过在有标签的源域上训练、在未标注的目标域上测试，解决目标检测中的领域偏移。
• 通过在多个卷积块进行多对抗对齐，学习领域不变的特征表示。
• 通过对分层特征图使用尺度缩减模块（SRM）来提高训练效率。
• 通过将提案特征与检测输出聚合并应用带权梯度反转层，增强对提案的领域混淆。
• 在 Cityscapes、Foggy Cityscapes、KITTI 和 SIM10K 上展示无约束对象检测的最新性能。

提出的方法

• 在带有 VGG16 主干的 Faster-RCNN 上进行构建。
• 引入分层域特征对齐，使用放置在卷积块 3、4、5 的多个对抗域分类子模块。
• 应用尺度缩减模块在不损失信息的情况下对特征图进行下采样，以提高训练效率。
• 添加一个聚合的提案特征对齐模块，在域辨别之前将提案特征与分类分数和边界框坐标连接。
• 使用带权梯度反转层，在对抗训练中强调难以混淆的样本，指导域自适应。
• 端到端训练，结合损失包括源域的检测损失和跨分层及提案特征的对抗域对齐损失。

实验结果

研究问题

• RQ1 在目标检测模型中，如何最小化源域与目标域之间的领域差异？
• RQ2 跨多个 CNN 块的分层域特征对齐是否比单块对齐在跨域检测上有更大改进？
• RQ3 将提案级特征与检测输出聚合并应用带权 GRL 是否能增强目标检测器的领域混淆？
• RQ4 SRM 对对抗域自适应中训练效率和性能的影响如何？
• RQ5 与现有方法相比，MAF 在 Cityscapes、Foggy Cityscapes、KITTI 和 SIM10K 的无约束对象检测性能如何？

主要发现

• MAF 在 Cityscapes、Foggy Cityscapes、KITTI 和 SIM10K 数据集的无约束对象检测上取得了最先进的结果。
• 在多个 CNN 块中使用多对抗域分类器提高了超越单块对齐的领域不变特征学习。
• SRM 将特征图尺度降低以加速训练且不牺牲信息，从而提升对抗学习效率。
• 聚合的提案特征与检测输出加上 WGRL 进一步提升目标域的领域混淆和 mAP。
• MAF 在包括合成到真实及跨场景等多种跨域设置中，优于先前的 DAF 方法。