[论文解读] Joint COCO and Mapillary Workshop at ICCV 2019: COCO Instance Segmentation Challenge Track

Zeming Li, Yuchen Ma+3 more|arXiv (Cornell University)|Oct 6, 2020

Reservoir Engineering and Simulation Methods参考文献 12被引用 7

一句话总结

本文提出 MegDetV2，一种两阶段实例分割系统，首先通过一种新型 RPN++ 头检测目标，然后利用 Mask R-CNN 精炼预测结果。该方法在 COCO-2019 测试开发集上实现了 61.0 mAP 的检测性能和 53.1 mAP 的实例分割性能，在 COCO 2019 和 2020 挑战赛中均取得了新的最先进结果。

ABSTRACT

In this report, we present our object detection/instance segmentation system, MegDetV2, which works in a two-pass fashion, first to detect instances then to obtain segmentation. Our baseline detector is mainly built on a new designed RPN, called RPN++. On the COCO-2019 detection/instance-segmentation test-dev dataset, our system achieves 61.0/53.1 mAP, which surpassed our 2018 winning results by 5.0/4.2 respectively. We achieve the best results in COCO Challenge 2019 and 2020.

研究动机与目标

• 通过两阶段检测与分割流水线，提升 COCO 数据集上的实例分割性能。
• 设计一种新型 RPN++ 头，通过利用与真实框的高 IoU 和类别感知采样，提升候选框质量。
• 整合可变形卷积、多尺度训练和模型集成等先进技术，以实现最先进性能。
• 通过统一且可扩展的训练与推理流水线，在检测和实例分割基准上均实现卓越性能。

提出的方法

• 该系统采用两阶段流水线：首先，基于 FPN 的检测器生成边界框候选框；其次，将这些候选框输入 Mask R-CNN 头以进行实例分割。
• RPN++ 通过使用与真实框的 IoU 而非 RPN 分数来改进候选框选择，并放宽 NMS 的 IoU 阈值以保留高质量候选框。
• 类别感知采样根据 IoU 分布动态调整每类的候选框采样策略，提升各类别之间的平衡性。
• 在 ResNet 各阶段和 RoI-Align 中应用可变形卷积与池化层，以更好地捕捉空间特征，提升检测精度。
• 使用堆叠的 4 层卷积头替代全连接层，以增强空间特征的利用效率。
• 通过更大的输入尺寸（600–1600）进行多尺度训练，并在测试阶段加入水平翻转，进一步提升性能。

实验结果

研究问题

• RQ1 采用独立检测与分割头的两阶段流水线是否能优于端到端模型在实例分割任务中的表现？
• RQ2 与标准 NMS 相比，RPN++ 中的高 IoU 候选框采样如何提升检测与分割性能？
• RQ3 可变形卷积与多尺度训练在 COCO 上对 mAP 提升的贡献程度如何？
• RQ4 在 Objects365 上进行预训练以及模型集成对最终检测与分割 mAP 的影响是什么？

主要发现

• 最终的两阶段系统在 COCO-2019 测试开发集上实现 61.0 mAP 的目标检测性能，较 2018 年冠军结果提升 5.0 mAP。
• 在实例分割任务中，系统在 COCO-2019 测试开发集上达到 53.1 mAP，较 2018 年结果提升 4.2 mAP。
• 采用高 IoU 采样的 RPN++ 将 FPN 性能提升 2.5 mAP（38.8 vs. 36.3），结合级联头后达到 40.7 mAP。
• 类别感知采样使 FPN 性能提升 1.3 mAP（37.6 vs. 36.3），可变形卷积相比标准 FPN 实现 2.6 mAP 的增益。
• 与标准的 400–1400 缩放相比，使用更大输入尺寸（600–1600）的多尺度训练使 mAP 提升 0.9 分。
• 通过集成三个检测模型和两个分割模型，最终在 COCO 测试开发集上达到 61.0 mAP 和 53.1 mAP 的性能。