[论文解读] A Competitive Method to VIPriors Object Detection Challenge

Fei Shen, Xin He+2 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Neural Network Applications参考文献 10被引用 12

一句话总结

本文提出了一种在 VIPriors 目标检测挑战中表现优异的解决方案，采用数据增强（bbox-jitter、grid-mask、mix-up）、全局上下文感知的 ROI 特征学习以及加权框融合（WBF）进行模型集成。该方法在 COCO2017 测试集上取得了 39.4% 的 AP@0.50:0.95，显著优于基线模型，在长尾数据分布和有限训练数据条件下展现出强大的鲁棒性。

ABSTRACT

In this report, we introduce the technical details of our submission to the VIPriors object detection challenge. Our solution is based on mmdetction of a strong baseline open-source detection toolbox. Firstly, we introduce an effective data augmentation method to address the lack of data problem, which contains bbox-jitter, grid-mask, and mix-up. Secondly, we present a robust region of interest (ROI) extraction method to learn more significant ROI features via embedding global context features. Thirdly, we propose a multi-model integration strategy to refinement the prediction box, which weighted boxes fusion (WBF). Experimental results demonstrate that our approach can significantly improve the average precision (AP) of object detection on the subset of the COCO2017 dataset.

研究动机与目标

• 解决 VIPriors 挑战中因类别长尾分布和有限训练数据导致的目标检测平均精度（AP）偏低的问题。
• 在不使用外部数据或预训练权重的情况下，提升模型的泛化能力和鲁棒性。
• 通过在特征金字塔网络（FPN）每一阶段将全局上下文特征嵌入到感兴趣区域（ROI）特征中，增强特征表示能力。
• 通过使用加权框融合（WBF）的多模型集成优化检测性能。
• 在竞赛约束条件下，实现在 COCO2017 子集上的最先进性能。

提出的方法

• 应用 bbox-jitter，通过在 0.95–1.05 的缩放范围内随机扰动边界框坐标，提高训练样本的难度。
• 使用 grid-mask，通过丢弃输入图像中均匀分布的区域，提升对遮挡和空间不变性的鲁棒性。
• 通过线性组合两张图像及其对应标签实现 mix-up 增强，提升训练集的多样性。
• 将从完整图像特征图中提取的全局上下文特征嵌入到每个 FPN 阶段的 ROI 特征中，以增强语义理解能力。
• 采用加权框融合（WBF）将三套具有不同主干网络（Res2Net-152、SeNet-154、ResNeSt-152）的 Cascade-RCNN 模型的预测结果进行融合，提升定位和分类精度。
• 通过使用组归一化、可切换空洞卷积（SAC）以及针对低资源类别采用随机裁剪和翻转的类别特定数据增强策略，优化训练过程。

实验结果

研究问题

• RQ1 在不使用外部数据的情况下，bbox-jitter、grid-mask 和 mix-up 等数据增强技术是否能显著提升在小样本、长尾目标检测数据集上的检测性能？
• RQ2 在两阶段检测器中，将全局上下文特征集成到 ROI 特征中，在多大程度上能增强特征表示能力和检测精度？
• RQ3 与非极大值抑制（NMS）相比，加权框融合（WBF）在多模型集成中对多个模型预测结果的优化效果如何？
• RQ4 在从零开始训练时，用组归一化替代批量归一化并引入可切换空洞卷积，是否能改善模型收敛性和性能？
• RQ5 结合架构改进与数据增强策略，是否能在不使用预训练权重的情况下，在 VIPriors 挑战中取得具有竞争力的结果？

主要发现

• 基线 Cascade-RCNN 模型（Res2Net-152）在验证集上达到 32.5% 的 AP@0.50:0.95，应用所有所提方法后提升至 36.9%。
• 单独添加 bbox-jitter、grid-mask 和 mix-up 分别使 AP@0.50:0.95 提升 0.8%、2.1% 和 2.4%，证明了其有效性。
• 将全局上下文特征集成到 ROI 特征中，使 AP@0.50:0.95 相较于基线提升 4.4%，凸显其在捕捉语义上下文中的关键作用。
• 采用 WBF 的多模型集成在测试集上达到 39.4% 的 AP@0.50:0.95，优于所有其他竞争方法。
• 使用组归一化和可切换空洞卷积进一步稳定了训练过程，并提升了性能，尤其对低频类别效果显著。
• 最终模型在测试集上实现了 56.3% 的 AP@0.50 和 42.7% 的 AP@0.75，展现出优异的泛化能力和定位精度。