[论文解读] CornerNet: Detecting Objects as Paired Keypoints

Hei Law, Jia Deng|arXiv (Cornell University)|Aug 3, 2018

Advanced Neural Network Applications参考文献 48被引用 147

一句话总结

CornerNet 以单一网络，通过角点对（左上角和右下角）检测对象，结合角点池化与关联嵌入，在不使用锚框的情况下，在 COCO 一阶段检测中达到强劲表现。

ABSTRACT

We propose CornerNet, a new approach to object detection where we detect an object bounding box as a pair of keypoints, the top-left corner and the bottom-right corner, using a single convolution neural network. By detecting objects as paired keypoints, we eliminate the need for designing a set of anchor boxes commonly used in prior single-stage detectors. In addition to our novel formulation, we introduce corner pooling, a new type of pooling layer that helps the network better localize corners. Experiments show that CornerNet achieves a 42.2% AP on MS COCO, outperforming all existing one-stage detectors.

研究动机与目标

• 动机：从单阶段检测器中移除锚框，因为其低效性和设计复杂性。
• 提出将目标检测为成对的关键点（左上角和右下角）并具有类别特定热力图。
• 引入角点池化以在局部证据弱时改进角点定位。
• 开发关联嵌入以将同一对象的角点对聚合在一起。
• 展示在 MS COCO 上的最先进单阶段性能，并对关键组件进行消融分析。

提出的方法

• 对每个类别预测两个热力图：一个用于左上角点，一个用于右下角点。
• 对每个检测到的角点预测一个一维嵌入，通过拉/推损失将同一对象的成对角点聚合在一起。
• 使用角点偏移在下采样重新映射后 refine 角点位置。
• 提出角点池化，通过水平和垂直最大池化并求和来聚合远场边界信息。
• 采用时光金字塔（hourglass）网络作为骨干，并配备定制的热力图、嵌入和偏移预测模块。
• 使用变体 focal loss 的训练，以及面向对象的半径对负样本进行降权。

实验结果

研究问题

• RQ1 是否能够通过成对角点而非锚框来准确检测对象？
• RQ2 角点池化是否改善边界框角点的定位和整体检测精度？
• RQ3 关联嵌入在正确将同一对象的成对角点聚合方面有多有效？
• RQ4 学习角点偏移和修改后的损失项对 COCO 性能有何影响？

主要发现

Method	Backbone	AP	AP50	AP75	APs	APm	APl	AR1	AR10	AR100	ARs	ARm	ARl
CornerNet511 (single scale)	Hourglass-104	40.6	56.4	43.2	19.1	42.8	54.3	35.3	54.7	59.4	37.4	62.4	77.2
CornerNet511 (multi scale)	Hourglass-104	42.2	57.8	45.2	20.7	44.8	56.6	36.6	55.9	60.3	39.5	63.2	77.3
RetinaNet	ResNet-101	39.1	59.1	42.3	21.8	42.7	50.2	-	-	-	-	-	-
Cascade R-CNN (baseline)	ResNet-101	42.8	62.1	46.3	23.7	45.5	55.2	-	-	-	-	-	-

• 角点池化显著提升 COCO 验证集的 AP，约提升约 2.0 点。
• 对负样本位置采用对象相关的惩罚减弱策略，相比固定半径策略带来显著的 AP 提升。
• 角点池化在中大型对象的性能提升比小对象更明显。
• 以角点为基础的预测的时光金字塔骨干在 AP 上优于基于 FPN 的骨干和锚框检测器。
• 在 COCO test-dev 上，CornerNet 超越了所有单阶段检测器，并且与许多两阶段检测器竞争。
• GT 热力图 alone 表明检测角点是主要瓶颈，在提供真实热力图时约有 73.1 的 AP。