[论文解读] Anchor Box Optimization for Object Detection

Yuanyi Zhong, Jianfeng Wang+2 more|arXiv (Cornell University)|Dec 2, 2018

Advanced Neural Network Applications参考文献 25被引用 15

一句话总结

本文提出一种在训练过程中通过随机梯度下降动态学习锚框形状的方法，使目标检测器能够自动适应数据分布和网络容量的锚框尺寸与宽高比。该方法在COCO和Pascal VOC等多个基准测试中实现了≥1%的一致mAP提升，且不增加推理成本。

ABSTRACT

In this paper, we propose a general approach to optimize anchor boxes for object detection. Nowadays, anchor boxes are widely adopted in state-of-the-art detection frameworks. However, these frameworks usually pre-define anchor box shapes in heuristic ways and fix the sizes during training. To improve the accuracy and reduce the effort of designing anchor boxes, we propose to dynamically learn the anchor shapes, which allows the anchors to automatically adapt to the data distribution and the network learning capability. The learning approach can be easily implemented with stochastic gradient descent and can be plugged into any anchor box-based detection framework. The extra training cost is almost negligible and it has no impact on the inference time or memory cost. Exhaustive experiments demonstrate that the proposed anchor optimization method consistently achieves significant improvement ($\ge 1\%$ mAP absolute gain) over the baseline methods on several benchmark datasets including Pascal VOC 07+12, MS COCO and Brainwash. Meanwhile, the robustness is also verified towards different anchor initialization methods and the number of anchor shapes, which greatly simplifies the problem of anchor box design.

研究动机与目标

• 解决目标检测框架中由启发式固定锚框设计导致的次优性能问题。
• 通过在训练过程中使锚框尺寸可学习，消除手动调整锚框形状的需求。
• 在不增加推理成本的前提下，提升多样化数据集和检测器架构下的检测精度。
• 验证该方法在不同锚框初始化策略和锚框形状数量下的鲁棒性。

提出的方法

• 将锚框宽度和高度视为可学习参数，在训练过程中通过随机梯度下降进行更新。
• 引入软分配预热策略，通过逐步将真实框分配给锚框，以稳定训练初期过程。
• 应用在线聚类技术，在训练过程中优化锚框形状，提升收敛速度和适应能力。
• 使用不带偏移的批量归一化（BN）以稳定训练，尤其在结合锚框优化时效果更佳。
• 以最小的架构改动将该方法集成到现有的基于锚框的检测器（如YOLOv2和Faster R-CNN）中。
• 通过不修改推理网络来保持推理效率，确保无运行时或内存开销。

实验结果

研究问题

• RQ1 锚框形状是否能在训练过程中被有效学习，从而提升检测精度？
• RQ2 该方法在不同初始化方法（如均匀分布、k-means、基于COCO的初始化）下的表现如何？
• RQ3 当锚框形状数量变化时，该方法是否依然有效？
• RQ4 哪些训练技术对于锚框优化的稳定性和有效性至关重要？
• RQ5 该方法是否可泛化至单阶段和两阶段检测器？

主要发现

• 在使用k-means初始化锚框时，该方法在Brainwash数据集上实现了1.2%的绝对mAP提升，从78.98%提升至80.18%。
• 在Pascal VOC 07+12数据集上使用YOLOv2和ResNet50 FPN时，mAP提升了1.0%（从78.52%提升至79.52%）。
• 在COCO 2017数据集上，使用Faster R-CNN和ResNet50 FPN时，mAP@.5:.95提升了0.31个百分点（从36.78%提升至37.09%）。
• 该方法在不同锚框初始化方式下均表现出性能提升，包括均匀分布、k-means和基于COCO的锚框。
• 无论锚框数量如何，该方法在不同锚框形状数量下均保持稳定提升，mAP增益范围在0.5%至1.2%之间。
• 在COCO 2017上，该方法将RPN在前50个提议中的召回率提升了0.83%，在前100个提议中提升了0.51%，表明提议质量更高。