[论文解读] Confidence Propagation Cluster: Unleash Full Potential of Object Detectors

Yichun Shen, Wanli Jiang+4 more|arXiv (Cornell University)|Dec 1, 2021

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种名为置信度传播聚类（CP-Cluster）的完全可并行化的后处理框架，通过受信念传播启发的消息传递机制，取代目标检测中基于NMS的方法，实现对冗余框的同步抑制和对真正例的增强。在MS COCO数据集上的评估表明，CP-Cluster在不重新训练的情况下，对多种最先进检测器的mAP提升了0.3–1.9个百分点。

ABSTRACT

It has been a long history that most object detection methods obtain objects by using the non-maximum suppression (NMS) and its improved versions like Soft-NMS to remove redundant bounding boxes. We challenge those NMS-based methods from three aspects: 1) The bounding box with highest confidence value may not be the true positive having the biggest overlap with the ground-truth box. 2) Not only suppression is required for redundant boxes, but also confidence enhancement is needed for those true positives. 3) Sorting candidate boxes by confidence values is not necessary so that full parallelism is achievable. In this paper, inspired by belief propagation (BP), we propose the Confidence Propagation Cluster (CP-Cluster) to replace NMS-based methods, which is fully parallelizable as well as better in accuracy. In CP-Cluster, we borrow the message passing mechanism from BP to penalize redundant boxes and enhance true positives simultaneously in an iterative way until convergence. We verified the effectiveness of CP-Cluster by applying it to various mainstream detectors such as FasterRCNN, SSD, FCOS, YOLOv3, YOLOv5, Centernet etc. Experiments on MS COCO show that our plug and play method, without retraining detectors, is able to steadily improve average mAP of all those state-of-the-art models with a clear margin from 0.3 to 1.9 respectively when compared with NMS-based methods.

研究动机与目标

• 为解决基于NMS的后处理方法依赖置信度排序且未能利用重叠边界框之间关系的局限性。
• 开发一种完全可并行化的NMS替代方案，通过联合增强真正例和惩罚冗余检测来提升检测精度。
• 提供一种即插即用的后处理解决方案，兼容所有主流目标检测器，包括使用无锚点或无NMS设计的模型。
• 在多种架构和数据集（包括COCO和实例分割模型）上展示一致的mAP提升。
• 通过消除串行排序步骤并支持GPU优化的迭代消息传递，实现低延迟实时部署。

提出的方法

• CP-Cluster基于IoU阈值为每组重叠边界框构建图结构。
• 执行迭代消息传递：正向消息增强真正例框，负向消息抑制冗余框。
• 消息仅在图内相邻框之间传递，确保每次迭代中可实现完全并行。
• 置信度值通过迭代方式更新，每个框根据其局部邻域信息自我更新。
• 通过依赖消息传递动力学而非置信度排序，自然地优先处理真正例。
• 最终可选地添加一次排序以保持API一致性，但在运行时测量中被排除以保持并行性。

实验结果

研究问题

• RQ1 基于信念传播的消息传递框架是否能在目标检测精度上超越NMS和Soft-NMS？
• RQ2 用完全可并行化的聚类方法替代NMS是否能在不重新训练的情况下提升多种目标检测器的mAP？
• RQ3 CP-Cluster是否能同时增强基于锚点和无锚点的检测器，包括无NMS模型如CenterNet？
• RQ4 在实例分割任务中，作为后处理步骤使用时，CP-Cluster的表现如何？
• RQ5 与标准NMS和Soft-NMS相比，CP-Cluster在CPU和GPU上的运行效率如何？

主要发现

• 在MS COCO数据集上，CP-Cluster在FasterRCNN、SSD、FCOS、YOLOv3、YOLOv5和CenterNet等模型上均实现了0.3至1.9个百分点的mAP提升，且无需重新训练。
• 在CenterNet上，CP-Cluster相比最大池化方法实现了1.9个百分点的mAP提升，相比Soft-NMS提升了0.6–1.9个百分点，尤其在多尺度和翻转增强设置下表现更优。
• 在MaskRCNN的实例分割任务中，CP-Cluster同时提升了框AP和掩码AP，在轻量化模型上优于Soft-NMS。
• CP-Cluster的GPU实现（2次迭代）耗时仅1.0–1.5ms，与torchvision的NMS（1.4ms）相当，证明了其具备实时可行性。
• CP-Cluster在不同主干网络（如DLA34、HRNet）上均保持一致的性能增益，展现出广泛的兼容性。
• 通过消除置信度排序，CP-Cluster实现了完全并行化，支持高效的GPU加速，并为未来通过CUDA内核进一步优化奠定了基础。