[论文解读] GrooMeD-NMS: Grouped Mathematically Differentiable NMS for Monocular 3D Object Detection

Abhinav Kumar, Garrick Brazil+1 more|arXiv (Cornell University)|Mar 31, 2021

Advanced Neural Network Applications参考文献 87被引用 7

一句话总结

GrooMeD-NMS 提出了一种可微分的、闭式表达的非极大值抑制（NMS）方法，用于单目 3D 目标检测，实现了在 NMS 之后应用损失函数的端到端训练。通过将 NMS 表述为矩阵运算，并应用无监督分组与掩码技术，该方法在 KITTI 基准上实现了最先进性能，优于所有单图与视频方法。

ABSTRACT

Modern 3D object detectors have immensely benefited from the end-to-end learning idea. However, most of them use a post-processing algorithm called Non-Maximal Suppression (NMS) only during inference. While there were attempts to include NMS in the training pipeline for tasks such as 2D object detection, they have been less widely adopted due to a non-mathematical expression of the NMS. In this paper, we present and integrate GrooMeD-NMS -- a novel Grouped Mathematically Differentiable NMS for monocular 3D object detection, such that the network is trained end-to-end with a loss on the boxes after NMS. We first formulate NMS as a matrix operation and then group and mask the boxes in an unsupervised manner to obtain a simple closed-form expression of the NMS. GrooMeD-NMS addresses the mismatch between training and inference pipelines and, therefore, forces the network to select the best 3D box in a differentiable manner. As a result, GrooMeD-NMS achieves state-of-the-art monocular 3D object detection results on the KITTI benchmark dataset performing comparably to monocular video-based methods. Code and models at https://github.com/abhi1kumar/groomed_nms

研究动机与目标

• 为解决单目 3D 目标检测中训练与推理之间的不匹配问题，即 NMS 仅在推理阶段应用，而未在训练中参与。
• 开发一种数学可微分的 NMS，支持反向传播，实现基于梯度的 3D 框选择优化。
• 通过可微分 NMS 训练网络选择定位最优的框，提升预测框得分与 3D IoU 之间的相关性。
• 通过将 NMS 集成到训练流程中作为可学习、GPU 友好的层，消除对启发式或不可微分后处理的依赖。

提出的方法

• 利用 IoU 矩阵与得分向量将经典 NMS 表述为矩阵运算，以支持可微分计算。
• 引入候选框的无监督分组与掩码技术，简化 NMS 表达式，避免矩阵求逆。
• 用软剪枝函数（如线性、指数、Sigmoid）替代 NMS 中的硬阈值，以保持反向传播中的梯度流动。
• 将 GrooMeD-NMS 作为可微分层集成到网络中，使损失函数在 NMS 之后的梯度能够反向传播至网络参数。
• 使用每张图像的可微分平均精度损失（imagewise AP）以更好地对齐训练与推理，提升泛化能力。
• 结合自平衡置信度得分与分类得分，提升 NMS 期间的定位精度。

实验结果

研究问题

• RQ1 能否通过矩阵运算将数学可微分的 NMS 表述为闭式表达式，以支持端到端 3D 目标检测？
• RQ2 将 NMS 集成到训练流程中是否能提升预测框得分与 3D IoU 之间的相关性？
• RQ3 无监督分组与掩码是否能简化可微分 NMS 表达式，同时保持梯度流动与性能？
• RQ4 在 NMS 之后应用损失进行训练，是否能带来更好的泛化能力，并在单目 3D 检测基准上实现最先进性能？

主要发现

• GrooMeD-NMS 在 KITTI 基准上实现最先进性能，在 Val 1 分割上 0.7 IoU 下 3D mAP 达 19.67%，0.5 IoU 下为 14.32%，超越此前最先进方法。
• 在 KITTI Val 2 分割上，该方法在 0.7 IoU 下实现 55.62% 的 3D mAP，优于 M3D-RPN 与 Kinematic (Image) 基线方法。
• NMS 后的得分-IoU 相关系数达到 0.345，超过 M3D-RPN、Kinematic (Image) 甚至 Kinematic (Video)，证明得分与定位质量之间对齐更优。
• 使用 GrooMeD-NMS 训练可缩小训练与推理之间的性能差距，体现在中等与困难难度集上均保持一致提升。
• 每张图像的推理时间仅为 0.15ms，略高于经典 NMS（0.12ms），且在推理时切换回经典 NMS 后性能保持不变。
• 消融实验表明，使用自平衡置信度得分与 imagewise AP 损失可提升性能，而仅使用分类得分进行 NMS 会带来性能下降。