[论文解读] DeNet: Scalable Real-time Object Detection with Directed Sparse Sampling

Lachlan Tychsen-Smith, Lars Petersson|arXiv (Cornell University)|Mar 30, 2017

Advanced Neural Network Applications参考文献 12被引用 12

一句话总结

DeNet 提出了一种可扩展的、实时的物体检测框架，采用有向稀疏采样（Directed Sparse Sampling）来估计稀疏边界框分布，无需人工设计锚框。通过结合基于角点的感兴趣区域（RoI）估计器、反卷积上采样与跳跃连接，DeNet 在 MSCOCO、Pascal VOC 2007 和 VOC 2012 上以 60 Hz 和 30 Hz 的评估速率实现了最先进（SOTA）的检测精度，且由于候选区域空间大幅扩展（约 420 万个 vs. SSD512 的约 2.5 万个），定位性能更优。

ABSTRACT

We define the object detection from imagery problem as estimating a very large but extremely sparse bounding box dependent probability distribution. Subsequently we identify a sparse distribution estimation scheme, Directed Sparse Sampling, and employ it in a single end-to-end CNN based detection model. This methodology extends and formalizes previous state-of-the-art detection models with an additional emphasis on high evaluation rates and reduced manual engineering. We introduce two novelties, a corner based region-of-interest estimator and a deconvolution based CNN model. The resulting model is scene adaptive, does not require manually defined reference bounding boxes and produces highly competitive results on MSCOCO, Pascal VOC 2007 and Pascal VOC 2012 with real-time evaluation rates. Further analysis suggests our model performs particularly well when finegrained object localization is desirable. We argue that this advantage stems from the significantly larger set of available regions-of-interest relative to other methods. Source-code is available from: https://github.com/lachlants/denet

研究动机与目标

• 开发一种可扩展的、实时的物体检测系统，以减少对人工设计锚框的依赖。
• 在高推理速率（60 Hz 和 30 Hz）下提升检测精度，同时不牺牲模型效率。
• 将现代检测方法统一于一个理论框架——有向稀疏采样（Directed Sparse Sampling）——以提升可解释性与可扩展性。
• 通过扩展可行候选边界框集合，超越固定锚框网格，提升细粒度定位能力。
• 在多种物体尺度与宽高比下展示场景适应性，尤其适用于非刚性或旋转变化的物体。

提出的方法

• 提出有向稀疏采样作为建模物体检测为边界框上稀疏分布估计的正式框架。
• 引入基于角点的感兴趣区域（RoI）估计器，直接从特征图预测物体角点，无需预定义参考框。
• 采用反卷积层对特征图进行上采样，生成高分辨率检测图，提升定位精度。
• 利用早期编码器层的跳跃连接以保留空间细节，增强对小尺寸与中等尺寸物体的检测能力。
• 端到端训练，联合优化角点检测、分类与边界框回归，损失函数包括交叉熵损失与回归损失。
• 在反向传播过程中保持固定的采样边界框依赖关系，确保端到端可微性，同时支持稀疏推理。

实验结果

研究问题

• RQ1 能否将物体检测形式化为稀疏分布估计问题，以提升效率与可扩展性？
• RQ2 消除人工定义的锚框是否能提升在多样化物体尺度与宽高比下的泛化能力与适应性？
• RQ3 反卷积上采样与跳跃连接是否能显著提升实时检测中的定位精度？
• RQ4 将候选区域数量（超越固定锚框网格）增加，对检测性能与定位精度有何影响？
• RQ5 单个模型在 60 Hz 与 30 Hz 两种评估速率下，能在不损失鲁棒性的前提下达到多大程度的竞争力？

主要发现

• DeNet-34 在 Pascal VOC 2007 上以 82 Hz 推理速度达到 75.9% 的平均精度均值（mAP），较 SSD300 提升 1.6% mAP 且速度快 20 Hz。
• DeNet-101 在 Pascal VOC 2007 上以 33 Hz 推理速度达到与 SSD512 相同的 76.8% mAP，展现出更优的速度-精度权衡。
• 在 MSCOCO test-dev2015 上，DeNet-101 达到 44.8% mAP（34 Hz），较 RPN（ResNet）在 1/15 的推理速率下提升 1.9% mAP。
• 该模型的候选区域空间约为 420 万个，远超 SSD512 的约 2.5 万个，使初始预测框更接近真实框。
• 跳跃连接显著提升了对小尺寸与中等尺寸物体的检测性能，DeNet-101（含跳跃连接）在 VOC 2007 上达到 77.1% mAP。
• 宽模型变体表明，更高分辨率的角点图可增强对小尺寸与中等尺寸物体的检测能力，提示出一条可扩展的发展路径。