[论文解读] CornerNet-Lite: Efficient Keypoint Based Object Detection

Hei Law, Yun Teng+2 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Neural Network Applications参考文献 66被引用 164

一句话总结

CornerNet-Lite 将 CornerNet-Saccade 与 CornerNet-Squeeze 结合起来，以提升基于关键点的检测的效率，在 COCO 上实现更快的推理，且在 AP 方面优于或与以往的实时检测器竞争。

ABSTRACT

Keypoint-based methods are a relatively new paradigm in object detection, eliminating the need for anchor boxes and offering a simplified detection framework. Keypoint-based CornerNet achieves state of the art accuracy among single-stage detectors. However, this accuracy comes at high processing cost. In this work, we tackle the problem of efficient keypoint-based object detection and introduce CornerNet-Lite. CornerNet-Lite is a combination of two efficient variants of CornerNet: CornerNet-Saccade, which uses an attention mechanism to eliminate the need for exhaustively processing all pixels of the image, and CornerNet-Squeeze, which introduces a new compact backbone architecture. Together these two variants address the two critical use cases in efficient object detection: improving efficiency without sacrificing accuracy, and improving accuracy at real-time efficiency. CornerNet-Saccade is suitable for offline processing, improving the efficiency of CornerNet by 6.0x and the AP by 1.0% on COCO. CornerNet-Squeeze is suitable for real-time detection, improving both the efficiency and accuracy of the popular real-time detector YOLOv3 (34.4% AP at 30ms for CornerNet-Squeeze compared to 33.0% AP at 39ms for YOLOv3 on COCO). Together these contributions for the first time reveal the potential of keypoint-based detection to be useful for applications requiring processing efficiency.

研究动机与目标

• 在没有锚框的情况下，推动并解决基于关键点的目标检测中的速度-精度权衡。
• 提出 CornerNet 的两个高效变体，以提升离线和实时性能。
• 证明通过视距采样和紧凑骨干网络在保持最小 AP 损失甚至提升的情况下可以实现显著的加速。
• 在 COCO 上评估 CornerNet-Lite，以便与 YOLOv3 和 CornerNet 进行对比。
• 强调实用的训练与架构改造，使实时或接近实时推理成为可能。

提出的方法

• 引入 CornerNet-Saccade，使用基于注意力的下采样阶段来提出对象位置，然后并行处理选定的高分辨率裁剪区域。
• 开发 CornerNet-Squeeze，采用受 SqueezeNet 与 MobileNets 启发的紧凑 hourglass 骨干，以降低每像素计算量。
• 为 Saccade 使用 hourglass-54 骨干，以在深度与效率之间取得平衡。
• 使用 Soft-NMS 与边界裁剪抑制来处理部分对象与重叠裁剪。
• 使用相同的 CornerNet 损失（角点热力图、嵌入和偏移量）在各变体之间进行训练。
• 在一致的硬件设置下比较 COCO 上的推理时间和精度。

实验结果

研究问题

• RQ1 一个类似于 saccade 的注意机制是否可以在不牺牲 CornerNet 准确度的情况下减少被处理的像素数量？
• RQ2 一个紧凑的骨干网络（CornerNet-Squeeze）是否能够在保持或提升 AP 的同时实现实时性能？
• RQ3 在 COCO 上，CornerNet-Saccade 和 CornerNet-Squeeze 与原始 CornerNet 与 YOLOv3 在速度和准确度方面有何比较？
• RQ4 将 saccades 与 ultra-compact 骨干网络结合对实时检测是有益还是有害？
• RQ5 这些变体在训练效率和内存使用方面有哪些权衡？

主要发现

Detector	Time	AP	AP^s	AP^m	AP^l	AP^att
CornerNet-Squeeze	30ms	34.4	13.7	36.5	47.4
YOLOv3	39ms	33.0	18.3	35.4	41.9
CornerNet (single)	211ms	40.6	19.1	42.8	54.3
CornerNet (multi)	1147ms	42.2	20.7	44.8	56.6
CornerNet-Saccade	190ms	43.2	24.4	44.6	57.3

• CornerNet-Saccade 在 COCO 上比 CornerNet 提升 6 倍速度且 AP 增加 1%（AP 从 42.2% 提升到 43.2%）。
• CornerNet-Squeeze 在 COCO 上以 30ms 达到 34.4% 的 AP，优于 YOLOv3（33.0% 在 39ms）。
• CornerNet-Lite 在保持高精度的同时提升离线效率，并实现具备竞争 AP 的实时性能。
• CornerNet-Saccade 使用缩小后的图像来预测跨尺寸（小/中/大）的多目标位置的注意力图。
• 若不使用注意力的组合 CornerNet-Saccade-Squeeze，因容量限制，性能会下降；saccades 需要足够准确的注意力图来提供帮助。