[论文解读] Mask Propagation Network for Video Object Segmentation

Jia Sun, Dongdong Yu+2 more|arXiv (Cornell University)|Oct 24, 2018

Visual Attention and Saliency Detection参考文献 10被引用 8

一句话总结

该论文提出了一种用于视频实例分割的掩码传播网络（MPN），通过利用光流引导的掩码变形和改进的DeepLab v3+主干网络，在帧间传播实例掩码。通过聚焦于感兴趣区域（RoI）并结合微调后的OSVOS变体以恢复丢失的实例，该方法在DAVIS 2018数据集上实现了最先进性能，Region Jaccard达到57.7%，Boundary F-measure达到62.4%。

ABSTRACT

In this work, we propose a mask propagation network to treat the video segmentation problem as a concept of the guided instance segmentation. Similar to most MaskTrack based video segmentation methods, our method takes the mask probability map of previous frame and the appearance of current frame as inputs, and predicts the mask probability map for the current frame. Specifically, we adopt the Xception backbone based DeepLab v3+ model as the probability map predictor in our prediction pipeline. Besides, instead of the full image and the original mask probability, our network takes the region of interest of the instance, and the new mask probability which warped by the optical flow between the previous and current frames as the inputs. We also ensemble the modified One-Shot Video Segmentation Network to make the final predictions in order to retrieve and segment the missing instance.

研究动机与目标

• 解决现有视频实例分割方法在处理遮挡、运动变化及多实例跟踪方面的局限性。
• 通过利用光流与引导式掩码传播，提升时间一致性与分割精度。
• 通过改进的一次性视频分割（OSVOS）网络检测并分割在传播过程中丢失的实例。
• 通过DenseCRF后处理提升边界精度。

提出的方法

• 网络使用基于Xception的DeepLab v3+模型，基于前一帧的掩码概率图和当前帧的外观特征预测当前帧的掩码。
• 利用FlowNet 2.0生成的光流将前一帧的掩码进行变形，使其与当前帧对齐。
• 不使用全分辨率输入，而是裁剪每个实例周围的感兴趣区域（RoI），以减少背景噪声并提升效率。
• 模型采用两阶段训练：先在MSRA10K和DAVIS 2017上进行离线预训练，随后针对每个视频实例进行在线微调，使用第一帧的掩码作为监督信号。
• 采用带跳跃连接的改进OSVOS网络，检测并分割在传播过程中丢失的实例。
• 最终预测通过DenseCRF进行优化，以提升边界精度和局部细节。

实验结果

研究问题

• RQ1 光流引导的掩码传播能否提升视频实例分割中的时间一致性？
• RQ2 聚焦于实例特定的感兴趣区域是否能提升分割精度并减少背景干扰？
• RQ3 结合掩码传播与一次学习的混合方法能否有效恢复因遮挡或运动变化而丢失的实例？
• RQ4 DenseCRF后处理在多大程度上提升了视频分割中的边界精度？

主要发现

• 所提方法在DAVIS 2018测试挑战集上取得了57.7%的Region Jaccard和62.4%的Boundary F-measure。
• 在Jaccard和F-measure指标上，该方法优于多个强基线模型，包括TeamILC_RIL和Lixx。
• RoI裁剪的使用显著提升了模型效率，并减少了与背景相关的错误。
• 通过改进的OSVOS网络集成，平均成功恢复了27.2%的丢失实例，如衰减指标所示。
• DenseCRF优化显著改善了边界细节，尤其在复杂或模糊区域表现更优。