[论文解读] CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

Zhiwei Dong, Guoxuan Li+4 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Neural Network Applications参考文献 39被引用 29

一句话总结

CentripetalNet 提出了一种新颖的无锚框目标检测角点匹配方法，利用从每个角点指向框中心的2D向量——即向心位移（centripetal shift），通过利用空间几何结构提升匹配精度。通过将向心位移与一种十字星可变形卷积模块结合，以增强特征适应能力，该方法在 MS-COCO test-dev 上实现了 48.0% 的 AP，优于所有现有的无锚框检测器，并在 40.2% MaskAP 的表现上达到最先进实例分割模型的水平。

ABSTRACT

Keypoint-based detectors have achieved pretty-well performance. However, incorrect keypoint matching is still widespread and greatly affects the performance of the detector. In this paper, we propose CentripetalNet which uses centripetal shift to pair corner keypoints from the same instance. CentripetalNet predicts the position and the centripetal shift of the corner points and matches corners whose shifted results are aligned. Combining position information, our approach matches corner points more accurately than the conventional embedding approaches do. Corner pooling extracts information inside the bounding boxes onto the border. To make this information more aware at the corners, we design a cross-star deformable convolution network to conduct feature adaption. Furthermore, we explore instance segmentation on anchor-free detectors by equipping our CentripetalNet with a mask prediction module. On MS-COCO test-dev, our CentripetalNet not only outperforms all existing anchor-free detectors with an AP of 48.0% but also achieves comparable performance to the state-of-the-art instance segmentation approaches with a 40.2% MaskAP. Code will be available at https://github.com/KiveeDong/CentripetalNet.

研究动机与目标

• 解决无锚框检测器在密集或视觉相似目标场景中出现的错误关键点匹配问题。
• 克服基于关联嵌入（associative embedding）的角点匹配方法的局限性，后者仅依赖外观信息，对异常值和相似外观敏感。
• 通过设计一种新型可变形卷积模块，显式建模几何结构与上下文信息，提升角点位置的特征表示能力。
• 通过引入掩码预测头，实现在无锚框检测器中的端到端实例分割，借助多任务学习提升检测精度。

提出的方法

• 引入向心位移：从每个角点指向其边界框中心的2D向量，实现角点对之间几何一致性的检查。
• 基于位移后位置的对齐程度进行角点匹配——若两个角点的位移后中心位置接近，则属于同一实例。
• 设计一种十字星可变形卷积模块，从角点池化输出中沿“十字星”结构采样特征，以增强几何与上下文特征学习。
• 使用角点池化将物体特征从内部传播至边界框边缘，保留角点位置的结构信息。
• 通过 RoIAlign 和掩码头集成掩码预测头，实现在无锚框检测器上的端到端实例分割。
• 采用关键点分类、向心位移回归和掩码预测的联合训练策略，使用标准检测与分割损失进行训练。

实验结果

研究问题

• RQ1 能否利用几何与位置信息，在外观基础上的关联嵌入之外，进一步提升角点匹配性能？
• RQ2 在外观相似或密集目标场景下，基于向心位移的匹配方法相较于关联嵌入方法在鲁棒性方面表现如何？
• RQ3 能否通过利用角点特征中“十字星”结构的专用可变形卷积模块，提升关键点预测的特征表示能力？
• RQ4 在无锚框目标检测器中，通过实例分割进行多任务学习能在多大程度上提升模型性能？
• RQ5 无锚框检测器是否能在不依赖锚框的情况下，同时在目标检测与实例分割任务上达到最先进性能？

主要发现

• CentripetalNet 在 MS-COCO test-dev 上实现了 48.0% 的 AP，超越所有现有无锚框检测器，创下该类别新 SOTA 记录。
• 当使用相同主干网络时，模型将 MS-COCO test-dev2017 上的 AP 从 CornerNet 的 42.1% 提升至 47.8%，证明了向心位移的有效性。
• 十字星可变形卷积优于标准可变形卷积与 RoI 卷积，在无特征适配条件下达到 41.5% AP，$AP_M$ 达到 44.1%。
• 添加掩码预测头后，模型的 $AP_{bbox}$ 在训练 110 个 epoch 后提升 0.3%，210 个 epoch 后提升 0.4%，表明多任务学习有助于提升向心位移预测性能。
• CentripetalNet 在 MS-COCO 上实现了 40.2% MaskAP，表现与最先进实例分割方法相当。
• 定性结果表明，CentripetalNet 成功消除了 CornerNet 中常见的虚假角点对，并避免了 CenterNet 中依赖中心检测的问题。