[论文解读] Mask Propagation for Efficient Video Semantic Segmentation

Yuetian Weng, Mingfei Han+5 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出MPVSS，一种用于高效视频语义分割的新颖掩码传播框架，通过在稀疏关键帧上采用基于查询的图像分割，并学习针对各分割区域的光流图，实现对非关键帧的精确且高效的掩码变形。该方法在准确率与效率方面均达到最先进水平，在VSPW数据集上相比SOTA模型MRCFA提升4.0% mIoU，仅使用其26%的FLOPs；同时与逐帧基线方法相比，FLOPs降低高达4倍，且mIoU损失极小。

ABSTRACT

Video Semantic Segmentation (VSS) involves assigning a semantic label to each pixel in a video sequence. Prior work in this field has demonstrated promising results by extending image semantic segmentation models to exploit temporal relationships across video frames; however, these approaches often incur significant computational costs. In this paper, we propose an efficient mask propagation framework for VSS, called MPVSS. Our approach first employs a strong query-based image segmentor on sparse key frames to generate accurate binary masks and class predictions. We then design a flow estimation module utilizing the learned queries to generate a set of segment-aware flow maps, each associated with a mask prediction from the key frame. Finally, the mask-flow pairs are warped to serve as the mask predictions for the non-key frames. By reusing predictions from key frames, we circumvent the need to process a large volume of video frames individually with resource-intensive segmentors, alleviating temporal redundancy and significantly reducing computational costs. Extensive experiments on VSPW and Cityscapes demonstrate that our mask propagation framework achieves SOTA accuracy and efficiency trade-offs. For instance, our best model with Swin-L backbone outperforms the SOTA MRCFA using MiT-B5 by 4.0% mIoU, requiring only 26% FLOPs on the VSPW dataset. Moreover, our framework reduces up to 4x FLOPs compared to the per-frame Mask2Former baseline with only up to 2% mIoU degradation on the Cityscapes validation set. Code is available at https://github.com/ziplab/MPVSS.

研究动机与目标

• 为解决在视频语义分割（VSS）中对每一帧视频使用强图像分割器所带来的高计算成本问题。
• 通过重用稀疏关键帧上准确的掩码预测，减少视频处理中的时间冗余。
• 通过引入基于分割级别的信息而非依赖像素级光流，改进掩码变形的光流估计。
• 在不牺牲帧间类别一致性的情况下，实现VSS中更优的准确率-效率权衡。

提出的方法

• 仅在稀疏关键帧上应用强查询式图像分割器（如Mask2Former），以生成精确的二值掩码和类别预测。
• 提出一种基于查询的光流估计模块，其中每个关键帧中的查询为其对应掩码生成特定的、与分割相关的光流图。
• 利用关键帧中的相同查询嵌入学习光流图，实现每个分割区域的运动特征提取，从而提升光流精度。
• 使用预测的基于查询的光流图将关键帧的掩码预测变形至非关键帧，取代逐帧推理。
• 通过一个细化步骤，利用分割级别的运动线索优化像素级光流，进一步提升变形质量。
• 该框架支持灵活的关键帧间隔设置，实现准确率与计算成本之间的动态权衡。

Figure 1 : Motivation of the proposed MPVSS. Three consecutive frames with ground truth category labels are sampled from a video in VSPW [ 42 ] , illustrating a strong correlation between video frames along the temporal dimension. This observation underscores the significant temporal redundancy pres

实验结果

研究问题

• RQ1 与传统光流相比，基于分割的光流估计是否能提升视频语义分割中的掩码传播准确率？
• RQ2 重用关键帧上的掩码预测对视频语义分割的效率与准确率有何影响？
• RQ3 基于查询的光流学习在多大程度上可降低计算成本，同时保持高mIoU性能？
• RQ4 在增加关键帧间隔的情况下，所提方法在准确率下降方面的鲁棒性如何？

主要发现

• 在VSPW数据集上，MPVSS采用Swin-L主干网络时，mIoU比SOTA方法MRCFA高出4.0%，同时仅使用其26%的FLOPs。
• 与逐帧Mask2Former基线相比，MPVSS在Cityscapes验证集上FLOPs降低高达4倍，mIoU仅下降2%。
• 所提出的基于查询的光流估计在长时序传播中持续优于传统光流，关键帧间隔为10时，mIoU仅下降1.1%，而传统光流下降2.63%。
• 与随机初始化相比，使用学习得到的查询进行光流估计，分别在Swin-T和Swin-B上提升mIoU 1.1%和1.5%。
• Query-for-PF变体相比传统光流进一步提升性能0.1%和0.2%，证明了在光流学习中引入分割级别信息的优势。
• 定性结果表明，MPVSS在保持类别一致性方面表现更优，且对小尺寸运动物体的跟踪精度高于逐帧基线方法和基于光流的方法。

Figure 2 : Overall architecture of the proposed MPVSS.