[论文解读] Straight to Shapes++: Real-time Instance Segmentation Made More Accurate

Laurynas Miksys, Saumya Jetley+3 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 37被引用 4

一句话总结

本文提出 STS++，一种增强的实时实例分割模型，通过架构优化和训练策略改进，在原始 Straight to Shapes (STS) 框架基础上显著提升了精度。通过引入参数共享、激进的数据增强以及基于距离变换的结构化损失函数，STS++ 在 PASCAL VOC 数据集上实现了 0.5 IoU 下 19.7 mAP 的性能提升，同时保持了实时推理速度。

ABSTRACT

Instance segmentation is an important problem in computer vision, with applications in autonomous driving, drone navigation and robotic manipulation. However, most existing methods are not real-time, complicating their deployment in time-sensitive contexts. In this work, we extend an existing approach to real-time instance segmentation, called `Straight to Shapes' (STS), which makes use of low-dimensional shape embedding spaces to directly regress to object shape masks. The STS model can run at 35 FPS on a high-end desktop, but its accuracy is significantly worse than that of offline state-of-the-art methods. We leverage recent advances in the design and training of deep instance segmentation models to improve the performance accuracy of the STS model whilst keeping its real-time capabilities intact. In particular, we find that parameter sharing, more aggressive data augmentation and the use of structured loss for shape mask prediction all provide a useful boost to the network performance. Our proposed approach, `Straight to Shapes++', achieves a remarkable 19.7 point improvement in mAP (at IOU of 0.5) over the original method as evaluated on the PASCAL VOC dataset, thus redefining the accuracy frontier at real-time speeds. Since the accuracy of instance segmentation is closely tied to that of object bounding box prediction, we also study the error profile of the latter and examine the failure modes of our method for future improvements.

研究动机与目标

• 在不牺牲推理速度的前提下，提升实时实例分割模型 Straight to Shapes (STS) 的精度。
• 探究是否可以利用深度学习架构与训练的最新进展来增强实时实例分割性能。
• 分析目标检测与分割预测中的失败模式，以指导未来改进。
• 重新定义 PASCAL VOC 基准上实时实例分割的精度边界。

提出的方法

• 通过在预测头之间引入参数共享，扩展 STS 模型，以提升泛化能力并减少过拟合。
• 应用激进的数据增强策略，包括随机缩放、裁剪和颜色抖动，以增强对视觉变化的鲁棒性。
• 引入基于距离变换的结构化损失函数，以更好地正则化形状掩码预测，提升空间一致性。
• 采用多头回归头，直接从 448×448 输入图像预测类别、位置和形状嵌入。
• 使用固定 4096 维特征表示作为深度回归器的输入，输出用于掩码解码的形状嵌入。
• 通过形状嵌入空间中的学习逆映射，将预测的形状嵌入解码为 2D 实例掩码。

实验结果

研究问题

• RQ1 深度学习架构与训练的最新进展能否有效应用于提升实时实例分割精度？
• RQ2 参数共享与激进数据增强对基于直接形状嵌入的实例分割模型性能有何影响？
• RQ3 基于距离变换的结构化损失函数对掩码预测精度有何影响？
• RQ4 边界框预测中的错误模式如何影响整体实例分割性能？
• RQ5 STS++ 模型的主要失败模式是什么，未来工作应如何应对？

主要发现

• STS++ 在 PASCAL VOC 数据集上，于 0.5 IoU 下相较原始 STS 模型实现了 19.7 mAP 的性能提升，重新定义了实时实例分割的精度边界。
• 仅使用激进数据增强，mAP 相较原始 STS 模型提升了 8.8 个百分点。
• 参数共享与结构化距离变换损失均对性能提升有显著贡献，后者尤其改善了预测掩码的空间一致性。
• STS++ 保持了实时推理速度，在高端桌面设备上达到 35 FPS，适用于对时间敏感的应用场景。
• 由于连续的形状嵌入空间，模型在未见类别上表现出强大的泛化能力，这是其在真实世界部署中的关键优势。
• 失败分析表明，边界框预测错误（尤其是尺度与定位错误）仍是主要瓶颈，提示检测器优化对进一步性能提升至关重要。