[论文解读] Cascade RetinaNet: Maintaining Consistency for Single-Stage Object Detection

Hongkai Zhang, Hong Chang+3 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Neural Network Applications参考文献 35被引用 50

一句话总结

Cas-RetinaNet 引入级联的单阶段检测器，具有逐步提升的 IoU 阈值和一个特征一致性模块，用以在各阶段对齐特征，在 COCO 数据集上相对于 RetinaNet 取得稳定的 AP 增益（例如从 39.1 提升到 41.1 AP）。

ABSTRACT

Recent researches attempt to improve the detection performance by adopting the idea of cascade for single-stage detectors. In this paper, we analyze and discover that inconsistency is the major factor limiting the performance. The refined anchors are associated with the feature extracted from the previous location and the classifier is confused by misaligned classification and localization. Further, we point out two main designing rules for the cascade manner: improving consistency between classification confidence and localization performance, and maintaining feature consistency between different stages. A multistage object detector named Cas-RetinaNet, is then proposed for reducing the misalignments. It consists of sequential stages trained with increasing IoU thresholds for improving the correlation, and a novel Feature Consistency Module for mitigating the feature inconsistency. Experiments show that our proposed Cas-RetinaNet achieves stable performance gains across different models and input scales. Specifically, our method improves RetinaNet from 39.1 AP to 41.1 AP on the challenging MS COCO dataset without any bells or whistles.

研究动机与目标

• 识别级联方法在单阶段检测器中的主要局限性，特别是分类与定位之间的错位，以及各阶段之间的特征不一致。
• 提出设计准则，通过 (a) 将分类置信度与定位质量对齐，以及 (b) 维持各阶段之间的特征一致性，来改进级联单阶段检测器。
• 开发 Cas-RetinaNet，具备顺序阶段和新颖的 Feature Consistency Module (FCM)。
• 在 MS COCO 上展示跨骨干网和输入尺度的性能提升，并分析阶段数与推理成本的权衡。

提出的方法

• 通过增加具有逐步提升的 IoU 阈值的阶段来提出一个级联的单阶段检测器，以使分类目标与定位质量对齐。
• 引入一个 Feature Consistency Module，学习位置偏移并使用可变形卷积来调整特征，以细化锚框位置。
• 用一个综合损失 L = sum of L^i（跨各阶段）来训练阶段，正样本由阶段特定的 IoU 阈值决定。
• 在推理时对多个级联阶段的分类分数取平均，以提高鲁棒性。
• 维持与 RetinaNet 对齐的轻量化检测头结构，以将改进限制在级联和 FCM 上。

实验结果

研究问题

• RQ1 是否可以在不诉诸基于区域的提案的情况下，通过类似级联的单阶段检测器提升检测性能？
• RQ2 在级联设置中，如何使分类置信度与实际定位质量对齐？
• RQ3 通过 Feature Consistency Module 在级联各阶段自适应特征，是否能减小错位并提高准确性？
• RQ4 在准确性与速度之间取得平衡的最佳级联阶段数是多少？

主要发现

• Cas-RetinaNet 在 COCO 上相比 RetinaNet 取得稳定的 AP 增益（例如在 test-dev 下，ResNet-101 与 800 input 时，RetinaNet 为 39.1 AP，而 Cas-RetinaNet 为 41.1 AP）。
• 提高后续阶段的前景 IoU 阈值有利于提高高 IoU 的性能（如 AP90），对较低 IoU 的 AP 影响较小；两阶段级联提供了一个良好的权衡。
• FCM 在不同骨干和输入尺度上稳定地将 AP 提升约 1 点（例如 ResNet-50 600→600：34.4→35.5 带 FCM；800：36.1→37.1）。
• 两阶段级联的 Cas-RetinaNet 在实验中实现了最佳的整体权衡（表 3）。
• 与最先进的检测器相比，Cas-RetinaNet 采用 ResNet-101 在 COCO test-dev 的 800 input 下达到 41.1 AP，具备竞争力或更优的结果，且没有花哨的附加。
• 推理速度存在适度的开销（例如在 800 input 时，Cas-RetinaNet 额外一个阶段时约 10 FPS，而 RetinaNet 约 12.5 FPS）。