[论文解读] Deep Regionlets: Blended Representation and Deep Learning for Generic Object Detection

Hongyu Xu, Xutao Lv+4 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 76被引用 5

一句话总结

本文提出 Deep Regionlets，一种新颖的物体检测框架，通过在深度学习架构中引入区域选择网络和门控网络，实现非矩形区域选择与可学习特征池化。该方法在无需实例分割标注的情况下，在 PASCAL VOC 和 COCO 基准上实现了最先进性能，通过端到端训练显著提升了对外观变化和形变的鲁棒性。

ABSTRACT

In this paper, we propose a novel object detection algorithm named "Deep Regionlets" by integrating deep neural networks and a conventional detection schema for accurate generic object detection. Motivated by the effectiveness of regionlets for modeling object deformations and multiple aspect ratios, we incorporate regionlets into an end-to-end trainable deep learning framework. The deep regionlets framework consists of a region selection network and a deep regionlet learning module. Specifically, given a detection bounding box proposal, the region selection network provides guidance on where to select sub-regions from which features can be learned from. An object proposal typically contains 3-16 sub-regions. The regionlet learning module focuses on local feature selection and transformations to alleviate the effects of appearance variations. To this end, we first realize non-rectangular region selection within the detection framework to accommodate variations in object appearance. Moreover, we design a "gating network" within the regionlet leaning module to enable instance dependent soft feature selection and pooling. The Deep Regionlets framework is trained end-to-end without additional efforts. We present ablation studies and extensive experiments on the PASCAL VOC dataset and the Microsoft COCO dataset. The proposed method yields competitive performance over state-of-the-art algorithms, such as RetinaNet and Mask R-CNN, even without additional segmentation labels.

研究动机与目标

• 解决通用物体检测中建模物体形变和外观变化的挑战。
• 通过端到端训练弥合传统基于区域元的检测方法与深度学习之间的差距。
• 提升具有多种长宽比和子类别差异的物体的特征表示能力。
• 通过端到端学习空间与特征变换，减少对手工设计特征的依赖。
• 在不依赖额外分割标签的情况下，实现具有竞争力的检测准确率。

提出的方法

• 该框架包含一个区域选择网络（RSN），在物体候选框内执行非矩形区域选择。
• 深度区域元学习模块利用空间变换网络对所选子区域的特征进行对齐。
• 门控网络实现基于实例的软特征选择与跨区域元的池化操作。
• 整个系统采用端到端训练，梯度通过区域选择与特征学习组件反向传播。
• 该方法利用每张物体候选框内 3–16 个子区域的分层特征表示，以建模可变形部件。
• 空间变换具有可微性，支持通过投影变换参数进行反向传播。

实验结果

研究问题

• RQ1 非矩形区域选择是否能提升在外观变化和形变情况下的物体检测特征表示？
• RQ2 可学习的区域元门控机制是否能在深度检测网络中超越固定池化策略？
• RQ3 将区域元整合进深度学习框架是否能在无分割标注的情况下，优于标准的 R-CNN 或 RetinaNet 基线模型？
• RQ4 基于区域元的方法是否能在通用检测任务中泛化至多样化的物体类别和长宽比？
• RQ5 区域选择与特征学习的端到端训练如何影响检测准确率与鲁棒性？

主要发现

• 所提出的 Deep Regionlets 框架在 PASCAL VOC 数据集上实现了具有竞争力的性能，优于 RetinaNet 和 Mask R-CNN 等最先进方法，且无需分割标签。
• 在 Microsoft COCO 数据集上，该方法展现出强大的检测准确率，证实其在复杂真实场景下的通用物体检测有效性。
• 消融实验表明，非矩形区域选择与门控网络均对性能提升有显著贡献。
• 与 Faster R-CNN 相比，该框架参数量增加了约 6360 万，但考虑到性能增益，这一增加可视为微小。
• 端到端训练方案实现了区域选择与特征学习的联合优化，提升了特征判别能力与定位精度。
• 通过在物体候选框内学习灵活的子区域表示，该方法有效建模了物体形变与多种长宽比。