[论文解读] MaskRNN: Instance Level Video Object Segmentation

Yuan-Ting Hu, Jia‐Bin Huang+1 more|arXiv (Cornell University)|Mar 29, 2018

Visual Attention and Saliency Detection参考文献 46被引用 12

一句话总结

MaskRNN 提出了一种用于实例级视频目标分割的循环神经网络框架，通过循环结构融合二值分割掩码和边界框预测，以利用长期时间一致性与空间定位信息。该方法在 DAVIS-2016、DAVIS-2017 和 SegTrack v2 上实现了最先进性能，通过 RNN 实现时间建模并引入位置先验，相较于之前的方法在实例级分割上最高提升 5.6%。

ABSTRACT

Instance level video object segmentation is an important technique for video editing and compression. To capture the temporal coherence, in this paper, we develop MaskRNN, a recurrent neural net approach which fuses in each frame the output of two deep nets for each object instance -- a binary segmentation net providing a mask and a localization net providing a bounding box. Due to the recurrent component and the localization component, our method is able to take advantage of long-term temporal structures of the video data as well as rejecting outliers. We validate the proposed algorithm on three challenging benchmark datasets, the DAVIS-2016 dataset, the DAVIS-2017 dataset, and the Segtrack v2 dataset, achieving state-of-the-art performance on all of them.

研究动机与目标

• 解决在遮挡、快速运动和外观变化等复杂场景下实例级视频目标分割的挑战。
• 通过建模长期依赖关系，超越短时帧间传播，提升视频分割的时间一致性。
• 通过在掩码预测之外引入边界框定位作为空间先验，提升分割精度。
• 通过分割与定位网络的联合优化，提升在杂乱背景和目标形变情况下的鲁棒性。

提出的方法

• MaskRNN 使用循环神经网络（RNN）建模视频帧之间的长期时间依赖关系，实现时间上一致的掩码预测。
• 该框架为每个目标组合使用两个深度网络：一个二值分割网络，用于在预测的边界框内生成实例掩码；一个定位网络，用于回归目标边界框。
• RNN 整合前序帧的特征以优化当前帧的预测，提升时间一致性并减少漂移。
• 采用联合训练策略优化分割与定位分支，其中边界框作为空间先验，用于约束掩码预测并提升鲁棒性。
• 通过光流对齐帧间掩码与特征，增强运动建模效果，并提升分割网络的输入质量。
• 通过端到端训练最小化后处理操作，无需像以往方法那样依赖密集条件随机场（CRF）或边界对齐操作。

实验结果

研究问题

• RQ1 循环神经网络能否有效建模视频目标分割中的长期时间依赖关系，从而提升帧间的一致性？
• RQ2 引入边界框定位先验在复杂场景下如何提升实例级分割的准确性和鲁棒性？
• RQ3 分割与定位网络的联合优化在多大程度上优于逐帧处理或短时传播方法？
• RQ4 与最先进方法相比，MaskRNN 在包含遮挡、快速运动和外观变化的挑战性基准上的表现如何？

主要发现

• 在 DAVIS-2016 数据集上，MaskRNN 的平均交并比（mIoU）比次优的半监督方法高出 0.6%，表明其在前景-背景分割方面表现更优。
• 在 DAVIS-2017 上，MaskRNN 在实例级视频目标分割任务中比最先进方法高出 5.6% 的 mIoU，显示出在多目标跟踪任务中的强大性能。
• 在 SegTrack v2 数据集上，MaskRNN 相较于最佳先驱方法实现了 4.6% 的 mIoU 提升，证实其在多样化且具有挑战性的序列中的鲁棒性。
• 边界框定位与基于 RNN 的时间建模相结合，有效减少了分割漂移，提升了时间一致性，尤其在存在遮挡的长视频中表现更优。
• 失败案例主要源于视觉上相似的对象或显著的视角/尺度变化，凸显了在这些条件下基于外观的跟踪方法的局限性。
• 该方法在无需依赖后处理技术（如密集 CRF 或边界对齐）的情况下实现最先进性能，表明其具备强大的端到端泛化能力。