[论文解读] Spatial Feature Calibration and Temporal Fusion for Effective One-stage Video Instance Segmentation

Minghan Li, Shuai Li+2 more|arXiv (Cornell University)|Apr 6, 2021

Advanced Image Processing Techniques参考文献 27被引用 7

一句话总结

该论文提出 STMask，一种单阶段视频实例分割框架，通过回归框特征提取实现空间特征校准，并通过时间融合模块提升时间一致性。通过将特征校准至真实框并利用相邻帧信息，STMask 在 ResNet-50 上达到 33.5% 的掩码 AP，在 ResNet-101 上达到 36.8%，同时保持 28.6 FPS 的实时推理速度。

ABSTRACT

Modern one-stage video instance segmentation networks suffer from two limitations. First, convolutional features are neither aligned with anchor boxes nor with ground-truth bounding boxes, reducing the mask sensitivity to spatial location. Second, a video is directly divided into individual frames for frame-level instance segmentation, ignoring the temporal correlation between adjacent frames. To address these issues, we propose a simple yet effective one-stage video instance segmentation framework by spatial calibration and temporal fusion, namely STMask. To ensure spatial feature calibration with ground-truth bounding boxes, we first predict regressed bounding boxes around ground-truth bounding boxes, and extract features from them for frame-level instance segmentation. To further explore temporal correlation among video frames, we aggregate a temporal fusion module to infer instance masks from each frame to its adjacent frames, which helps our framework to handle challenging videos such as motion blur, partial occlusion and unusual object-to-camera poses. Experiments on the YouTube-VIS valid set show that the proposed STMask with ResNet-50/-101 backbone obtains 33.5 % / 36.8 % mask AP, while achieving 28.6 / 23.4 FPS on video instance segmentation. The code is released online https://github.com/MinghanLi/STMask.

研究动机与目标

• 为解决单阶段视频实例分割中特征未与真实框对齐的问题，提升空间特征校准能力。
• 通过引入帧间依赖关系，缓解逐帧分割中时间相关性丢失的问题。
• 在保持挑战性视频（如运动模糊、遮挡或异常姿态）中实时推理速度的同时提升性能。
• 提供一种简单而高效的单阶段替代方案，平衡两阶段方法的精度与速度。

提出的方法

• 通过回归分支在真实框周围预测回归框，以改善空间定位精度。
• 采用自适应（1×1 卷积）或对齐（数学推导）策略，从这些回归框中提取特征，以获得更优的特征表示。
• 引入时间融合模块，跨相邻帧推理实例掩码，以增强跟踪鲁棒性。
• 使用带有校准特征的全卷积单阶段网络，实现端到端视频实例分割。
• 通过在每个空间位置设计多个卷积核，在锚点级别实现特征校准，生成位置特定的特征。
• 集成时间融合模块，实现掩码预测在帧间的传播，提升在运动模糊和遮挡场景下的时间一致性。

实验结果

研究问题

• RQ1 通过回归框实现的空间特征校准是否能提升单阶段视频实例分割的掩码 AP？
• RQ2 在相邻帧之间引入时间融合是否能减少复杂视频序列中的漏检？
• RQ3 单阶段框架是否能在保持实时推理速度的同时实现具有竞争力的精度？
• RQ4 自适应与对齐的特征提取策略在空间校准中的表现如何比较？

主要发现

• STMask 使用 ResNet-50 主干网络在 YouTube-VIS 验证集上达到 33.5% 的掩码 AP，优于先前的单阶段方法。
• 使用 ResNet-101 主干网络时，STMask 达到 36.8% 的掩码 AP，表明其在无需额外训练技巧的情况下仍具备强大性能。
• 时间融合模块相比基线模型提升 5.2 个百分点，显著减少遮挡和运动模糊场景下的漏检。
• STMask 在 ResNet-50 上运行速度为 28.6 FPS，在 ResNet-101 上为 23.4 FPS，保持实时推理速度。
• 消融实验表明，空间校准与时间融合均对性能提升有显著贡献。
• 可视化对比显示，STMask 搭载时间融合后，帧间不一致性降低，小物体与遮挡实例的掩码质量得到改善。