[论文解读] IoU-uniform R-CNN: Breaking Through the Limitations of RPN

Li Zhu, Zihao Xie+3 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 35被引用 9

一句话总结

该论文提出IoU-Uniform R-CNN，一种通过用人工抖动生成的、均匀分布的IoU样本替代RPN生成的训练样本，以缓解两阶段目标检测器训练不平衡问题的方法。通过直接为回归分支和IoU预测分支生成多样化且均匀分布的正样本，并在推理过程中消除特征偏移，该方法提升了定位精度和NMS性能，在PASCAL VOC和MS COCO上实现了SOTA结果，相较于基线RPN训练方法，mAP提升最高达2.0个点。

ABSTRACT

Region Proposal Network (RPN) is the cornerstone of two-stage object detectors, it generates a sparse set of object proposals and alleviates the extrem foregroundbackground class imbalance problem during training. However, we find that the potential of the detector has not been fully exploited due to the IoU distribution imbalance and inadequate quantity of the training samples generated by RPN. With the increasing intersection over union (IoU), the exponentially smaller numbers of positive samples would lead to the distribution skewed towards lower IoUs, which hinders the optimization of detector at high IoU levels. In this paper, to break through the limitations of RPN, we propose IoU-Uniform R-CNN, a simple but effective method that directly generates training samples with uniform IoU distribution for the regression branch as well as the IoU prediction branch. Besides, we improve the performance of IoU prediction branch by eliminating the feature offsets of RoIs at inference, which helps the NMS procedure by preserving accurately localized bounding box. Extensive experiments on the PASCAL VOC and MS COCO dataset show the effectiveness of our method, as well as its compatibility and adaptivity to many object detection architectures. The code is made publicly available at https://github.com/zl1994/IoU-Uniform-R-CNN,

研究动机与目标

• 解决两阶段检测器中RPN生成的训练样本在IoU分布上的不平衡以及正样本数量不足的问题。
• 提升在高IoU水平下的检测器性能，因为当前方法在这些区域因样本分布偏斜而表现不佳。
• 通过在推理过程中修正特征偏移问题，提高非极大值抑制（NMS）中IoU预测的可靠性。
• 通过简单、即插即用的设计，实现对多种目标检测架构的良好泛化与兼容性。

提出的方法

• 通过在真实框周围人工抖动生成边界框，替代RPN生成的RoI，以在不同IoU水平上创建均匀分布的正样本。
• 使用这些生成的、均匀分布的样本训练回归分支和IoU预测分支，以平衡不同IoU区间的损失组成。
• 引入损失加权策略，进一步平衡训练过程中不同IoU区间间的梯度更新。
• 在推理过程中通过使用优化后的边界框坐标更新特征，消除IoU预测分支中RoI的特征偏移。
• 将该方法应用于Faster R-CNN和Cascade R-CNN等标准两阶段检测器，验证其兼容性与可适配性。
• 通过线性缩放规则调整与消融实验，优化学习率与批量大小以获得最佳性能。

实验结果

研究问题

• RQ1 用均匀分布的IoU样本替代RPN生成的训练样本，是否能提升所有IoU水平下的检测器性能？
• RQ2 在推理过程中消除RoI中的特征偏移，是否能提升IoU预测精度与NMS有效性？
• RQ3 训练样本的分布如何影响回归损失的组成与梯度更新？
• RQ4 IoU-Uniform R-CNN在PASCAL VOC和MS COCO等标准基准上的性能可提升多少？
• RQ5 该方法与现有两阶段检测架构的兼容性如何？

主要发现

• 在MS COCO上，使用ResNet-50-FPN时，IoU-Uniform R-CNN达到55.1 mAP，较基于RPN的训练方法提升2.0个点。
• 在PASCAL VOC 2007上，使用2张图像每GPU和0.005的学习率时，该方法达到54.42 mAP，优于基线设置。
• 在推理过程中消除特征偏移可使mAP提升2.3个点，且在使用生成的均匀样本时增益最大。
• 去除特征偏移后，IoU预测分支的准确性显著提升，有效减少了预测IoU与实际定位质量之间的错位。
• 该方法表现出强大的兼容性与可适配性，在多种目标检测架构上均实现一致的性能增益。
• 消融实验确认，最优配置为每GPU 2张图像和0.005的学习率，其性能优于标准线性缩放规则，主要得益于训练样本多样性的提升。