[论文解读] AdaZoom: Adaptive Zoom Network for Multi-Scale Object Detection in Large Scenes

Jingtao Xu, Yali Li+1 more|arXiv (Cornell University)|Jun 19, 2021

Advanced Neural Network Applications参考文献 46被引用 14

一句话总结

AdaZoom 提出了一种基于强化学习的自适应缩放网络，能够为大场景中的多尺度目标检测动态生成具有灵活尺度和宽高比的聚焦区域。通过策略梯度优化与协同训练，其在无需额外标注的情况下，在 VisDrone2019 上实现了 SOTA 性能，mAP 提升了 4.64%。

ABSTRACT

Detection in large-scale scenes is a challenging problem due to small objects and extreme scale variation. It is essential to focus on the image regions of small objects. In this paper, we propose a novel Adaptive Zoom (AdaZoom) network as a selective magnifier with flexible shape and focal length to adaptively zoom the focus regions for object detection. Based on policy gradient, we construct a reinforcement learning framework for focus region generation, with the reward formulated by object distributions. The scales and aspect ratios of the generated regions are adaptive to the scales and distribution of objects inside. We apply variable magnification according to the scale of the region for adaptive multi-scale detection. We further propose collaborative training to complementarily promote the performance of AdaZoom and the detection network. To validate the effectiveness, we conduct extensive experiments on VisDrone2019, UAVDT, and DOTA datasets. The experiments show AdaZoom brings a consistent and significant improvement over different detection networks, achieving state-of-the-art performance on these datasets, especially outperforming the existing methods by AP of 4.64% on Vis-Drone2019.

研究动机与目标

• 解决在大尺度航拍图像中检测小目标、密集目标及极不规则尺度目标的挑战。
• 克服固定尺度或多尺度图像金字塔在适应性与训练-推理一致性方面的局限性。
• 开发一种方法，可选择性地放大相关图像区域，且无需为聚焦区域提供额外标注。
• 通过联合优化缩放网络与检测器的协同训练，提升检测性能。

提出的方法

• AdaZoom 使用基于策略梯度的强化学习框架，根据视觉特征生成自适应聚焦区域，奖励信号来源于目标分布质量。
• 网络动态调整聚焦区域的尺度与宽高比，以匹配其中目标的空间分布与尺寸。
• 根据内容对每个聚焦区域应用可变缩放，实现在放大区域内的多尺度检测。
• 协同训练通过在 AdaZoom 生成的区域上优化检测器，以及利用检测反馈引导 AdaZoom 优先关注难以检测的区域来实现交替优化。
• 该方法采用端到端统一的训练与推理流程，避免各阶段之间的不一致性。
• 无需为聚焦区域提供额外标注；系统仅通过基于检测性能的奖励信号进行训练。

实验结果

研究问题

• RQ1 基于强化学习的系统能否生成自适应聚焦区域，从而提升在大场景中对小目标与密集目标的检测性能？
• RQ2 聚焦区域的自适应缩放与宽高比调整如何影响多尺度检测性能？
• RQ3 缩放网络与检测器之间的协同训练在多大程度上提升了整体检测精度？
• RQ4 所提出的方法是否能在无需复杂设计或额外标注的情况下实现 SOTA 性能？

主要发现

• 与现有方法相比，AdaZoom 在 VisDrone2019 数据集上实现了 mAP 绝对提升 4.64%，确立了 SOTA 性能。
• 自适应尺度与宽高比机制相比固定区域基线，mAP 提升 0.77%；当与协同训练结合时，性能进一步提升 1.23%。
• 当与自适应区域生成结合时，协同训练使 mAP 提升 0.71%，mAP75 提升 1.00%，表明存在显著的协同增益。
• 当使用 7 个聚焦区域时，AdaZoom 对小目标的召回率达到 95.1%，表明其对最困难样本具有强大关注能力。
• 该方法在准确率与推理效率之间保持良好平衡，推理时间随聚焦区域数量线性增加。
• 定性结果表明，AdaZoom 能有效聚焦于小目标与密集目标，且在放大聚焦区域上的检测性能显著优于全图推理。