[论文解读] Deep Regionlets for Object Detection

Hongyu Xu, Xutao Lv+4 more|arXiv (Cornell University)|Dec 6, 2017

Advanced Neural Network Applications参考文献 49被引用 7

一句话总结

本文提出 Deep Regionlets，一种新颖的物体检测框架，将非矩形区域选择与可学习的 regionlet 整合进端到端的深度学习流程。通过使用区域选择网络和基于门控的深度 regionlet 学习模块，该方法提升了可变形物体的特征表示能力，在 PASCAL VOC 和 MS COCO 上实现了最先进性能，且无需实例分割标签。

ABSTRACT

In this paper, we propose a novel object detection framework named "Deep Regionlets" by establishing a bridge between deep neural networks and conventional detection schema for accurate generic object detection. Motivated by the abilities of regionlets for modeling object deformation and multiple aspect ratios, we incorporate regionlets into an end-to-end trainable deep learning framework. The deep regionlets framework consists of a region selection network and a deep regionlet learning module. Specifically, given a detection bounding box proposal, the region selection network provides guidance on where to select regions to learn the features from. The regionlet learning module focuses on local feature selection and transformation to alleviate local variations. To this end, we first realize non-rectangular region selection within the detection framework to accommodate variations in object appearance. Moreover, we design a "gating network" within the regionlet leaning module to enable soft regionlet selection and pooling. The Deep Regionlets framework is trained end-to-end without additional efforts. We perform ablation studies and conduct extensive experiments on the PASCAL VOC and Microsoft COCO datasets. The proposed framework outperforms state-of-the-art algorithms, such as RetinaNet and Mask R-CNN, even without additional segmentation labels.

研究动机与目标

• 将深度神经网络与传统的 regionlet 基检测方法相结合，以提升通用物体检测性能。
• 解决先前方法中固定矩形区域和刚性 regionlet 结构的局限性。
• 实现可学习的非矩形区域选择与自适应 regionlet 池化的端到端训练。
• 通过空间变换与软门控机制增强对物体形变、尺度和长宽比变化的鲁棒性。
• 在不依赖实例分割标注的情况下实现最先进检测精度。

提出的方法

• 区域选择网络（RSN）在区域建议网络（RPN）输出的基础上执行非矩形区域选择，以更好地捕捉物体形状变化。
• 深度 regionlet 学习模块对选定区域应用空间变换以提取特征，并通过门控网络实现软 regionlet 池化。
• 门控网络实现可微分的、类似注意力的选择机制，使模型能够聚焦于最具判别性的区域。
• 整个框架仅使用输入图像和真实边界框进行端到端可训练，无需额外监督信号。
• 该方法泛化了可变形 RoI 池化，并支持灵活的 regionlet 配置，以提升特征学习能力。
• 采用 ResNet-101 作为主干网络，以确保与最先进检测器的公平比较。

实验结果

研究问题

• RQ1 非矩形区域选择能否提升深度物体检测器中可变形物体的特征表示？
• RQ2 具有软池化的可学习 regionlet 是否能在检测精度上超越固定或硬性 regionlet 选择？
• RQ3 将 regionlet 建模整合进端到端深度学习框架是否能优于标准检测器？
• RQ4 所提方法是否能在不使用实例分割标签的情况下实现最先进结果？
• RQ5 与基于可变形卷积的方法（如 D-F-RCNN）相比，深度 regionlet 框架表现如何？

主要发现

• 在 PASCAL VOC 2012 测试集上，所提方法优于所有对比方法，包括 DP-FCN，mAP 达到 85.7%。
• 在 MS COCO 2017 测试开发集上，方法达到 43.4% mAP，显著优于 Faster R-CNN（+8.5%）、R-FCN（+8.5%）和 D-F-RCNN/D-R-FCN（+4.0%）。
• 尽管未使用分割标签或多尺度训练，该方法仍比 Mask R-CNN 提高 1.1% mAP。
• 即使 RetinaNet 使用了焦点损失和多尺度训练，该方法仍与之表现相当。
• 消融实验表明，非矩形区域选择与门控网络显著提升了检测精度。
• 该框架完全支持端到端训练，且泛化了可变形 RoI 池化，表明其在物体检测特征学习中具有更广泛的应用潜力。