[论文解读] Adaptive Object Detection Using Adjacency and Zoom Prediction

Yongxi Lu, Tara Javidi+1 more|arXiv (Cornell University)|Dec 24, 2015

Advanced Neural Network Applications参考文献 31被引用 17

一句话总结

该论文提出AZ-Net，一种自适应目标检测框架，通过基于学习到的邻接性和缩放预测，递归地将图像区域划分为更小的子区域，动态生成区域建议，实现了SOTA的mAP，同时相比RPN方法将锚框数量减少至1/100，且保持了较高的推理速度。

ABSTRACT

State-of-the-art object detection systems rely on an accurate set of region proposals. Several recent methods use a neural network architecture to hypothesize promising object locations. While these approaches are computationally efficient, they rely on fixed image regions as anchors for predictions. In this paper we propose to use a search strategy that adaptively directs computational resources to sub-regions likely to contain objects. Compared to methods based on fixed anchor locations, our approach naturally adapts to cases where object instances are sparse and small. Our approach is comparable in terms of accuracy to the state-of-the-art Faster R-CNN approach while using two orders of magnitude fewer anchors on average. Code is publicly available.

研究动机与目标

• 解决固定锚框目标检测方法在空区域或背景区域上浪费计算资源的问题。
• 通过动态聚焦计算资源于可能包含目标的子区域，提升对小目标和稀疏目标实例的检测性能。
• 设计一种与类别无关的自适应搜索策略，在不损失检测精度的前提下减少区域建议的数量。
• 通过最小化冗余建议计算，实现在高分辨率图像上的高效推理。

提出的方法

• 该方法使用深度神经网络AZ-Net，为每个候选区域预测缩放指示值和邻接度分数，以决定是否进一步细分该区域。
• 缩放指示值是一个学习得到的标量，根据内容特征决定是否递归地将区域划分为更小的子区域。
• 高置信度的邻接度预测结果被用作检测器的最终区域建议，取代固定的锚框网格。
• 算法从整张图像开始，递归应用AZ-Net，生成基于内容的自适应锚框集合。
• 网络端到端训练，联合优化缩放决策和邻近区域的目标存在性预测，使用联合损失函数。
• 该方法避免依赖预定义的锚框模板，而是基于图像内容和分层特征响应构建建议区域。

实验结果

研究问题

• RQ1 与固定锚框方法相比，自适应区域建议策略是否能在减少锚框数量的同时保持或提升检测精度？
• RQ2 在小目标检测和高IoU阈值条件下，基于内容的递归细分策略与固定网格锚框生成方式在召回率方面有何差异？
• RQ3 在多类别检测场景中，单一的、与类别无关的建议网络是否能超越基于类别的自适应检测方法？
• RQ4 自适应搜索策略在高分辨率图像上的推理速度和可扩展性方面能提升到何种程度？

主要发现

• AZ-Net在MSCOCO 2015测试开发集上实现了22.3的mAP，尽管训练迭代次数更少且主干网络更浅，但与使用ResNet的RPN（37.4 mAP）相比表现相当。
• 在PASCAL VOC 2007数据集上，AZ-Net实现了22.3%的mAP，优于使用VGG16的Faster R-CNN（19.7%），并匹配或超越了使用VGG16（21.9%）和ResNet（37.4%）的RPN在关键指标上的表现。
• 该方法平均每张图像仅使用约十几个锚框区域，相比RPN的2400个锚框减少了100倍，显著提升了推理效率。
• AZ-Net在高IoU阈值和较少前K个建议区域时表现出更高的召回率，表明其定位精度和建议质量更优。
• 尽管采用的实现未充分优化（存在CPU-GPU内存传输和RoI池化操作），AZ-Net仍实现了较快的帧率，表明通过进一步优化具有显著提速潜力。
• 自适应搜索策略在小目标检测方面表现更优，得益于内容感知的细粒度区域细分，显著提升了小目标实例的召回率。