[论文解读] Grid R-CNN Plus: Faster and Better

Xin Lu, Buyu Li+3 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Neural Network Applications参考文献 8被引用 8

一句话总结

Grid R-CNN Plus 通过采用针对网格点的特定表示区域、减小网格分支的特征图尺寸和卷积层数量，并优化训练与推理策略，提出了一种更快、更准确的 Grid R-CNN 版本。在 COCO 上，其使用 ResNet-50-FPN 时达到 40.4 mAP，较基线高出 3.0 个百分点，同时推理速度与 Faster R-CNN FPN 相当。

ABSTRACT

Grid R-CNN is a well-performed objection detection framework. It transforms the traditional box offset regression problem into a grid point estimation problem. With the guidance of the grid points, it can obtain high-quality localization results. However, the speed of Grid R-CNN is not so satisfactory. In this technical report we present Grid R-CNN Plus, a better and faster version of Grid R-CNN. We have made several updates that significantly speed up the framework and simultaneously improve the accuracy. On COCO dataset, the Res50-FPN based Grid R-CNN Plus detector achieves an mAP of 40.4%, outperforming the baseline on the same model by 3.0 points with similar inference time. Code is available at https://github.com/STVIR/Grid-R-CNN .

研究动机与目标

• 在保持或提升其高精度定位性能的前提下，降低 Grid R-CNN 的高计算成本。
• 减少因对所有网格点使用单一、较大的表示区域而导致的网格分支效率低下问题。
• 优化训练与推理流程，以提升速度和鲁棒性，同时不损失检测精度。
• 在显著提升平均平均精度（mAP）的同时，实现比原始 Grid R-CNN 更快的推理时间。

提出的方法

• 引入针对网格点的特定表示区域，每个网格点仅使用原始热图中概率最高的 1/4 区域作为监督信号，从而减小特征图尺寸与计算量。
• 将网格分支的特征分辨率从 14×14 降低至 7×7，降低计算成本，同时保持定位精度。
• 将特征融合模块中的三个连续卷积层替换为一个 5×5 深度可分离卷积，以减少参数量和 FLOPs。
• 采用跨图像采样策略，从两幅图像中最多采样 192 个正样本提案，而非按图像限制，从而在训练过程中稳定特征分布。
• 在推理阶段移除第二个非极大值抑制（NMS）步骤，仅使用一个 IoU 阈值为 0.3、置信度阈值为 0.03 的 NMS，以加快推理速度。
• 在网格分支中使用组归一化，组数设置为网格点数量的倍数（例如 3×3 网格时为 36），以提升训练稳定性。

实验结果

研究问题

• RQ1 是否能在不降低定位精度的前提下，显著降低 Grid R-CNN 的计算成本？
• RQ2 使用针对网格点的特定表示区域，对特征效率和定位性能有何影响？
• RQ3 降低网格分支的分辨率与深度，对 mAP 和推理速度有何影响？
• RQ4 在正样本分布不均衡的情况下，跨图像采样策略是否能提升训练稳定性和检测性能？
• RQ5 在推理阶段移除第二个 NMS 操作，是否会导致性能下降，同时显著提升推理速度？

主要发现

• Grid R-CNN Plus 在使用 ResNet-50-FPN 的 COCO minival 上达到 40.4 mAP，较原始 Grid R-CNN 提高了 3.0 个百分点。
• 在 TITAN Xp GPU 上，该模型的单张图像推理时间为 0.11 秒，与 Faster R-CNN FPN（0.09 秒）相当，但 mAP 显著更高。
• 使用 ResNet-101-FPN 时，Grid R-CNN Plus 达到 42.0 mAP，较原始 Grid R-CNN 提高 0.7 个百分点，推理时间 0.13 秒，而原始模型为 0.29 秒。
• 采用针对网格点的特定表示区域，使有效监督区域缩小 75%，从而加快特征计算并提升定位精度。
• 结合降低的特征分辨率（7×7）、深度可分离卷积和优化的 NMS 策略，使推理时间相比原始 Grid R-CNN 减少了 55%。
• 跨图像采样策略通过平衡图像间的正样本分布，稳定了训练过程，有助于提升泛化能力与 mAP。