[论文解读] Consistent Optimization for Single-Shot Object Detection

Tao Kong, Fuchun Sun+3 more|arXiv (Cornell University)|Jan 19, 2019

Advanced Neural Network Applications参考文献 42被引用 19

一句话总结

本文提出了一种单阶段目标检测的一致性优化方法，通过在训练过程中使用优化后的锚框，使训练目标与推理过程保持一致。通过修改RetinaNet，使其在训练时对与推理阶段相同的优化锚框进行分类和回归优化，该方法在不改变网络结构或引入额外参数的情况下，实现了1.0 AP的提升（在COCO上达到40.1 AP），优于所有现有的单阶段检测器，且使用ResNet-101主干网络。

ABSTRACT

We present consistent optimization for single stage object detection. Previous works of single stage object detectors usually rely on the regular, dense sampled anchors to generate hypothesis for the optimization of the model. Through an examination of the behavior of the detector, we observe that the misalignment between the optimization target and inference configurations has hindered the performance improvement. We propose to bride this gap by consistent optimization, which is an extension of the traditional single stage detector's optimization strategy. Consistent optimization focuses on matching the training hypotheses and the inference quality by utilizing of the refined anchors during training. To evaluate its effectiveness, we conduct various design choices based on the state-of-the-art RetinaNet detector. We demonstrate it is the consistent optimization, not the architecture design, that yields the performance boosts. Consistent optimization is nearly cost-free, and achieves stable performance gains independent of the model capacities or input scales. Specifically, utilizing consistent optimization improves RetinaNet from 39.1 AP to 40.1 AP on COCO dataset without any bells or whistles, which surpasses the accuracy of all existing state-of-the-art one-stage detectors when adopting ResNet-101 as backbone. The code will be made available.

研究动机与目标

• 解决单阶段目标检测器中训练目标（原始锚框）与推理预测（优化锚框）之间的不一致问题。
• 探究在训练过程中使用优化锚框进行一致性优化是否能提升检测精度。
• 证明性能提升源于优化一致性，而非网络结构创新。
• 在不同模型容量和输入尺度下实现稳定且近乎零成本的精度提升。

提出的方法

• 提出一种训练策略，同时使用原始锚框及其经回归优化后的版本作为优化目标。
• 修改分类头和回归头，使其在训练过程中对与推理阶段相同的优化锚框预测结果进行优化，确保与推理阶段一致。
• 实现一种双流训练过程，使模型学习在与推理阶段相同的优化锚框假设上进行分类与回归。
• 采用类似Cascade R-CNN的设计，但针对单阶段检测器进行适配，避免级联推理。
• 将一致性优化应用于RetinaNet，构建ConRetinaNet，不改变主干网络或网络结构。
• 通过引入尺度抖动和更长的训练周期，确保公平比较。

实验结果

研究问题

• RQ1 训练目标（原始锚框）与推理预测（优化锚框）之间的不一致是否限制了单阶段检测器的性能？
• RQ2 通过优化锚框提升训练-推理一致性，是否能带来可测量的精度提升？
• RQ3 性能提升是源于网络结构变化，还是源于优化策略本身？
• RQ4 一致性优化是否能在不同模型容量和输入分辨率下实现稳定性能增益？

主要发现

• 通过一致性优化，RetinaNet在COCO上的AP从39.1提升至40.1，超越所有现有单阶段检测器。
• 该性能增益在不同模型容量和输入尺度下均保持稳定，且未引入额外参数或复杂技巧。
• ConRetinaNet-ResNet-101在COCO测试集上分别达到44.2 AP、43.5 AP和53.3 AP，优于RefineDet、DSSD和CornerNet。
• 消融实验证明，性能提升源于优化一致性，而非网络结构设计。
• 即使使用ResNet-50主干，ConRetinaNet也达到40.2 AP，优于DSSD-ResNet-101和RefineDet-ResNet-101。
• 该方法在计算量和参数量方面几乎不增加，因此可广泛应用于现有单阶段检测器。