[论文解读] A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

Xiaolong Wang, Abhinav Shrivastava+1 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Neural Network Applications参考文献 42被引用 7

一句话总结

本文提出 A-Fast-RCNN，一种对抗性训练框架，通过在特征空间中直接生成带有遮挡和形变的困难正样本，以提升目标检测器的鲁棒性。通过联合训练检测器与一个在特征空间中扭曲特征以模拟具有挑战性的现实世界变化的对手，该方法在 PASCAL VOC 2007 上实现了 2.3% 的 mAP 提升，在 VOC 2012 上实现了 2.6% 的提升，表明其在无需像素级生成的情况下，对罕见遮挡和形变具有更强的不变性。

ABSTRACT

How do we learn an object detector that is invariant to occlusions and deformations? Our current solution is to use a data-driven strategy -- collect large-scale datasets which have object instances under different conditions. The hope is that the final classifier can use these examples to learn invariances. But is it really possible to see all the occlusions in a dataset? We argue that like categories, occlusions and object deformations also follow a long-tail. Some occlusions and deformations are so rare that they hardly happen; yet we want to learn a model invariant to such occurrences. In this paper, we propose an alternative solution. We propose to learn an adversarial network that generates examples with occlusions and deformations. The goal of the adversary is to generate examples that are difficult for the object detector to classify. In our framework both the original detector and adversary are learned in a joint manner. Our experimental results indicate a 2.3% mAP boost on VOC07 and a 2.6% mAP boost on VOC2012 object detection challenge compared to the Fast-RCNN pipeline. We also release the code for this paper.

研究动机与目标

• 解决目标检测数据集中罕见遮挡和形变的长尾分布问题。
• 在不依赖大规模真实数据收集的前提下，提升检测器对罕见、难以采样的变化的鲁棒性。
• 开发一种联合学习框架，使对手在特征空间中生成具有挑战性的正样本。
• 通过生成超出数据集分布的困难样本，克服数据增强和 OHEM 的局限性。

提出的方法

• 训练一个对抗网络，通过空间方式修改特征图，以模拟遮挡和形变。
• 对手通过操纵特征响应而非生成原始像素来生成困难正样本。
• 检测器与对手以端到端方式联合训练，对手针对分类错误或不确定的样本进行优化。
• 该方法使用两种类型的变换：特征空间中的空间遮挡（ASTN）和空间形变（ASDN）。
• 该框架无需显式生成遮挡图像，避免了像素级图像合成的复杂性。
• 该方法被集成到 Fast-RCNN 流程中，支持检测器与对手的联合优化。

实验结果

研究问题

• RQ1 在特征空间中对抗性生成困难正样本是否能提升检测器对罕见遮挡和形变的泛化能力？
• RQ2 与数据增强和 OHEM 相比，对抗性特征空间增强在 mAP 提升方面表现如何？
• RQ3 检测器与对手的联合训练是否能比标准数据驱动方法更好地实现对长尾变化的不变性？
• RQ4 对手是否能在无需真实罕见遮挡样本的情况下，生成逼真且难以检测的样本？
• RQ5 对抗性样本是否与 OHEM 互补，且能否结合使用以获得进一步的性能提升？

主要发现

• 与 Fast-RCNN 基线相比，A-Fast-RCNN 在 PASCAL VOC 2007 上实现了 2.3% 的 mAP 提升。
• 在 PASCAL VOC 2012 上，该方法实现了 2.6% 的 mAP 提升，使用 VGG16 时达到 69.0% 的 mAP。
• 该方法在 VOC 2012 的 20 个类别中提升了 11 个类别的检测性能，仅沙发类别例外。
• 在 MS COCO 上，该方法将 AP50 从 42.7% 提升至 46.2%，AP 从 25.7% 提升至 27.1%。
• A-Fast-RCNN 与 OHEM 的集成在 VOC 2012 上实现了 71.7% 的 mAP，优于任一方法单独使用的结果。
• 定性分析表明，对抗性样本有时会导致过拟合泛化，例如因轮子被遮挡而将轮椅误分类为自行车。