[论文解读] Learning non-maximum suppression

Jan Hosang, Rodrigo Benenson+1 more|arXiv (Cornell University)|May 8, 2017

Video Surveillance and Tracking Methods参考文献 34被引用 36

一句话总结

本文提出 Gnet，一种可学习的非极大值抑制（NMS）网络，用于替代目标检测器中传统的贪心式 NMS 后处理步骤。通过将边界框及其得分联合输入深度神经网络，Gnet 能够端到端地学习抑制冗余检测，从而在 COCO 和 PETS 数据集上实现更优的定位性能与遮挡处理能力，相较于 GreedyNMS 稳定提升 1 mAP 点。

ABSTRACT

Object detectors have hugely profited from moving towards an end-to-end learning paradigm: proposals, features, and the classifier becoming one neural network improved results two-fold on general object detection. One indispensable component is non-maximum suppression (NMS), a post-processing algorithm responsible for merging all detections that belong to the same object. The de facto standard NMS algorithm is still fully hand-crafted, suspiciously simple, and -- being based on greedy clustering with a fixed distance threshold -- forces a trade-off between recall and precision. We propose a new network architecture designed to perform NMS, using only boxes and their score. We report experiments for person detection on PETS and for general object categories on the COCO dataset. Our approach shows promise providing improved localization and occlusion handling.

研究动机与目标

• 为解决 GreedyNMS 的局限性，即依赖人工设计的固定阈值后处理步骤，该步骤强制在精确率与召回率之间进行权衡。
• 通过训练一个神经网络直接在检测结果上执行 NMS，从而消除对后处理 NMS 的依赖。
• 通过将 NMS 整合到学习流程中，实现目标检测器的真正端到端训练。
• 通过基于检测得分与空间重叠的自适应抑制机制，学习更优的抑制策略，从而提升检测性能，特别是在遮挡或密集目标场景下。

提出的方法

• 提出 Gnet，一种卷积神经网络架构，以原始边界框及其置信度得分作为输入，输出经过优化的非重叠检测结果。
• 设计一种可微分损失函数，对同一对象的多个检测进行惩罚，促使网络学习抑制冗余预测。
• 采用类似图的处理机制，将检测视为节点，通过可学习的注意力或消息传递层连接重叠的检测。
• 采用多尺度、残差式架构，通过多个模块使网络能够学习在不同目标配置下复杂的抑制模式。
• 使用真实目标位置的监督信号进行端到端训练，无需图像特征或外部模型决策的参与。
• 通过调整输入与输出头，使同一架构可同时适用于单类别（PETS）与多类别（COCO）检测任务，以处理每类得分。

实验结果

研究问题

• RQ1 是否可以训练一个深度神经网络，在不依赖图像特征或人工设定阈值的前提下执行非极大值抑制？
• RQ2 可学习的 NMS 机制是否能提升检测性能，特别是在遮挡或密集目标排列等挑战性场景下？
• RQ3 单一神经网络架构是否具备在多种物体类别与多个数据集上泛化的能力，从而替代 GreedyNMS？
• RQ4 与经过最优、按数据集调优的 GreedyNMS 相比，所学习的 NMS（Gnet）性能如何？
• RQ5 网络性能在多大程度上依赖于架构深度与训练数据规模？

主要发现

• 在 COCO 数据集上，Gnet 相较于 GreedyNMS 稳定提升 1 mAP 点，当使用每类调优的 GreedyNMS 阈值时，mAP@0.5:0.95 从 23.5% 提升至 24.3%。
• 在 PETS 行人检测数据集上，Gnet 在低遮挡与高遮挡水平下均表现更优，AP@0.5 与 AP@0.5:0.95 均获得提升。
• 仅使用两个模块，Gnet 即可实现相较于 GreedyNMS 约 1 mAP 点的性能增益，表明即使在浅层架构下也具备强大的学习能力。
• 网络对架构深度具有鲁棒性，随着深度增加，性能波动减小，表明其具备稳定性与泛化能力。
• 在 COCO 的 80 个类别中，Gnet 在 70 个类别上优于 GreedyNMS，且未出现灾难性失败，证明其在多样化物体类别中的广泛适用性。
• 在验证集与测试集上的结果均显示良好的泛化能力，证实网络学习的是有意义的抑制模式，而非记忆数据。