[论文解读] Hashing-based Non-Maximum Suppression for Crowded Object Detection

Jianfeng Wang, Xi Yin+2 more|arXiv (Cornell University)|May 22, 2020

Video Surveillance and Tracking Methods参考文献 20被引用 7

一句话总结

该论文提出了一种基于哈希的非极大值抑制（HNMS），这是一种新颖的 O(N) 算法，通过使用 IoU 感知的哈希函数（IoUHash）将边界框哈希到离散单元格中，确保同一单元格内的框之间 IoU 值在保证范围内，从而加速目标检测。HNMS 在 CPU 上实现了最高 7.4 倍的加速，在 GPU 上实现了 6.8 倍的加速，同时保持了相当或更高的 mAP，尤其在密集场景中表现优异。

ABSTRACT

In this paper, we propose an algorithm, named hashing-based non-maximum suppression (HNMS) to efficiently suppress the non-maximum boxes for object detection. Non-maximum suppression (NMS) is an essential component to suppress the boxes at closely located locations with similar shapes. The time cost tends to be huge when the number of boxes becomes large, especially for crowded scenes. The basic idea of HNMS is to firstly map each box to a discrete code (hash cell) and then remove the boxes with lower confidences if they are in the same cell. Considering the intersection-over-union (IoU) as the metric, we propose a simple yet effective hashing algorithm, named IoUHash, which guarantees that the boxes within the same cell are close enough by a lower IoU bound. For two-stage detectors, we replace NMS in region proposal network with HNMS, and observe significant speed-up with comparable accuracy. For one-stage detectors, HNMS is used as a pre-filter to speed up the suppression with a large margin. Extensive experiments are conducted on CARPK, SKU-110K, CrowdHuman datasets to demonstrate the efficiency and effectiveness of HNMS. Code is released at \url{https://github.com/microsoft/hnms.git}.

研究动机与目标

• 解决传统 NMS 在密集目标检测中计算成本过高的问题，其中 O(N²) 的复杂度在成千上万个候选框下变得难以承受。
• 克服现有 NMS 加速方法（如 MaxPoolNMS）的局限性，后者依赖于关于锚框邻近性和回归一致性的未经证实的假设。
• 设计一种哈希方案，确保同一哈希单元格内的框之间具有基于 IoU 的邻近性，从而在不损失精度的前提下保证抑制质量。
• 通过将 HNMS 作为替代或预过滤步骤，实现对两阶段和单阶段检测器的高效、可扩展的 NMS。
• 在推理阶段实现显著的加速，同时保持或略微提升检测 mAP，尤其在高密度场景中表现突出。

提出的方法

• 提出一种新颖的哈希函数 IoUHash，根据框的尺寸（对数尺度）和偏移量（自然尺度）将边界框映射到离散的哈希单元格中，确保单元格内框之间的 IoU 邻近性。
• 推导出任意两个位于同一哈希单元格内的框之间 IoU 的理论下界，保证仅将足够相似的框分组在一起。
• 多次应用 HNMS 并使用不同的哈希参数，以缓解边界效应，即相邻框落入相邻单元格的问题。
• 对于两阶段检测器，直接用 HNMS 替换 RPN 中的 NMS，实现加速且无精度损失。
• 对于单阶段检测器，将 HNMS 用作预过滤器，大幅减少传递给标准 NMS 的框的数量，从而加速整体流程。
• 在预过滤中使用更高的 IoU 阈值（α = 0.73），其推导出的下界为 0.502，略高于标准 NMS 阈值（0.5）。

实验结果

研究问题

• RQ1 基于哈希的方法能否将 NMS 的时间复杂度从 O(N²) 降低到 O(N)，同时在密集场景中保持检测精度？
• RQ2 能否设计一种自定义哈希函数，确保同一哈希单元格内框之间的 IoU 基于邻近性，从而实现安全抑制？
• RQ3 HNMS 作为两阶段检测器（如 RPN）中 NMS 的替代方案，在速度和精度方面效果如何？
• RQ4 在单阶段检测器中，HNMS 作为预过滤步骤在多大程度上能加速 NMS 而不降低 mAP？
• RQ5 在真实检测基准中，HNMS 在不同候选框数量和不同硬件（CPU 与 GPU）下的表现如何？

主要发现

• 在 CARPK 数据集上，HNMS 在 CPU 模式下实现了 7.4 倍的加速，精度无损失，mAP 从 NMS 的 95.4% 提升至 HNMS 的 96.4%，同时推理时间低于 10ms。
• 在 GPU 模式下，当用作 K=4 的预过滤器时，HNMS 在 CARPK 上实现了最高 6.8 倍的加速，在 SKU-110K 上实现了 9.1 倍的加速，mAP 仅下降 0.1 个百分点，代价是预过滤时间增加。
• HNMS 在 GPU 上对输入大小表现出较低的敏感性：当框数量从 1,000 增加到 9,000 时，时间成本仅从 2.4ms 增加到 2.9ms，表明其具有极强的并行化效率。
• 在所有数据集（CARPK、SKU-110K、CrowdHuman）上，HNMS 维持了与标准 NMS 相当或略优的 mAP，且在 CPU 和 GPU 设置下均实现了稳定的加速。
• 当 α=0.73 时，IoUHash 函数确保了同一单元格内框之间 IoU 的理论下界为 0.502，为抑制质量提供了可证明的保障。
• 在 RetinaNet 中作为预过滤器使用时，HNMS 在 SKU-110K（GPU）上将总 NMS 时间最多减少了 9.1 倍，mAP 降级极小，充分展示了其在单阶段检测流水线中的强大可扩展性。