[论文解读] Dynamic Zoom-in Network for Fast Object Detection in Large Images

Mingfei Gao, Ruichi Yu+3 more|arXiv (Cornell University)|Nov 14, 2017

Advanced Neural Network Applications参考文献 32被引用 15

一句话总结

本文提出一种动态缩放网络，通过使用强化学习选择性地在有前景的区域进行精细化检测，从而加速高分辨率图像中的目标检测。首先在下采样图像上应用粗检测器，然后使用 R-net 预测各区域的精度提升潜力，再通过 Q-net 依次选择最优区域进行高分辨率分析，使处理像素数减少高达 70%，检测时间减少超过 50%，且不损失精度。

ABSTRACT

We introduce a generic framework that reduces the computational cost of object detection while retaining accuracy for scenarios where objects with varied sizes appear in high resolution images. Detection progresses in a coarse-to-fine manner, first on a down-sampled version of the image and then on a sequence of higher resolution regions identified as likely to improve the detection accuracy. Built upon reinforcement learning, our approach consists of a model (R-net) that uses coarse detection results to predict the potential accuracy gain for analyzing a region at a higher resolution and another model (Q-net) that sequentially selects regions to zoom in. Experiments on the Caltech Pedestrians dataset show that our approach reduces the number of processed pixels by over 50% without a drop in detection accuracy. The merits of our approach become more significant on a high resolution test set collected from YFCC100M dataset, where our approach maintains high detection performance while reducing the number of processed pixels by about 70% and the detection time by over 50%.

研究动机与目标

• 在不修改底层检测器架构的前提下，降低高分辨率图像目标检测的计算成本。
• 解决直接将标准检测器应用于大图像时因内存和处理需求过高而导致的效率低下问题。
• 通过仅聚焦于有前景的区域，实现对高分辨率图像中尺寸较小且多样的目标的准确检测。
• 开发一种可泛化的框架，适用于不同检测器架构和图像尺度。

提出的方法

• 该方法采用两阶段流程：首先在下采样图像上运行粗检测器，生成初始预测结果。
• R-net（回归网络）基于粗检测结果，预测对每个区域进行缩放可能带来的精度增益。
• Q-net（Q-函数网络）结合 R-net 输出的精度增益图和先前缩放的历史记录，选择下一个最优区域进行更高分辨率分析。
• Q-net 采用两条并行路径，输出不同缩放窗口尺寸的动作-奖励图，选择在单位计算成本下能最大化长期精度增益的区域。
• 使用强化学习建模长期奖励，以检测精度和计算效率为指标，实现动态、自适应的缩放决策。
• 该框架具有通用性，无需对底层检测器进行架构修改，可适用于多种基于 CNN 的目标检测器。

实验结果

研究问题

• RQ1 基于强化学习的方法能否动态选择高价值区域进行高分辨率检测，从而降低大图像中的整体计算成本？
• RQ2 在包含小尺寸、多样化目标的高分辨率数据集上，该方法与标准检测器相比，在精度和推理时间方面表现如何？
• RQ3 在保持大图像检测性能的前提下，处理时间与像素负载最多可减少多少？
• RQ4 从粗到细检测的相关性中学习精度增益，是否优于使用熵等启发式度量来指导缩放决策？

主要发现

• 在 Caltech 行人检测数据集上，该方法使处理像素数减少超过 50%，检测时间减少 25%，精度损失可忽略不计。
• 在 YFCC100M 的高分辨率测试集上，该方法使处理像素数减少约 70%，检测时间减少超过 50%，同时保持了高水平的检测性能。
• R-net 在精度增益预测方面优于基于熵的度量（ER），因为它能捕捉粗检测与细检测之间在置信度和外观特征上的相关性。
• 采用学习到的代价惩罚机制的 Q-net（Qnet*-CNN+Rnet）在不同图像尺寸间泛化能力更强，在像素预算受限时避免选择过大缩放区域。
• 尽管推理时间相近，该方法在大图像上显著优于单阶段检测器（如 YOLO 和 SSD），尤其在小目标的平均精度（AP）方面表现更优。
• 区域精细化处理与基于 CNN 的 Q-net 架构能提升检测精度，尤其当缩放窗口尺寸相对于图像尺寸较小时效果更明显。