[论文解读] Spatiotemporal CNN for Video Object Segmentation

Kai Xu, Longyin Wen+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Neural Network Applications参考文献 49被引用 6

一句话总结

本文提出STCNN，一种统一的、端到端可训练的时空卷积神经网络，用于半监督视频实例分割，结合了在无标签视频上对抗性预训练以捕捉运动与外观线索的时序一致性分支，以及利用多尺度特征上粗到细注意力机制的空间分割分支。该方法在DAVIS-2016上达到0.838 mIoU的最先进性能，在Youtube-Object上达到0.796 mIoU，尤其在快速运动和非刚性物体上优于基于光流和超像素的方法。

ABSTRACT

In this paper, we present a unified, end-to-end trainable spatiotemporal CNN model for VOS, which consists of two branches, i.e., the temporal coherence branch and the spatial segmentation branch. Specifically, the temporal coherence branch pretrained in an adversarial fashion from unlabeled video data, is designed to capture the dynamic appearance and motion cues of video sequences to guide object segmentation. The spatial segmentation branch focuses on segmenting objects accurately based on the learned appearance and motion cues. To obtain accurate segmentation results, we design a coarse-to-fine process to sequentially apply a designed attention module on multi-scale feature maps, and concatenate them to produce the final prediction. In this way, the spatial segmentation branch is enforced to gradually concentrate on object regions. These two branches are jointly fine-tuned on video segmentation sequences in an end-to-end manner. Several experiments are carried out on three challenging datasets (i.e., DAVIS-2016, DAVIS-2017 and Youtube-Object) to show that our method achieves favorable performance against the state-of-the-arts. Code is available at https://github.com/longyin880815/STCNN.

研究动机与目标

• 开发一种统一的、端到端可训练的深度学习模型，用于半监督视频实例分割，且无需依赖光流标注。
• 通过从无标签视频数据中学习动态外观与运动线索，提升时序一致性和分割精度。
• 通过粗到细注意力机制，逐步优化多尺度特征图上的预测，提升空间精度。
• 在具有挑战性的基准数据集（包括DAVIS-2016、DAVIS-2017和Youtube-Object）上实现最先进性能。
• 在光流估计失败的快速运动与非刚性物体上展示模型的鲁棒性。

提出的方法

• 模型包含两个分支：一个在无标签视频数据上通过对抗方式预训练的时序一致性分支，用于学习运动与外观动态。
• 空间分割分支是一个全卷积网络，利用时序分支的线索生成精确的分割掩码。
• 在多尺度特征图上顺序应用粗到细注意力机制，逐步聚焦于物体区域并优化预测。
• 注意力模块通过强调不同尺度下的相关空间区域，增强特征表示。
• 两个分支在标注的训练序列上进行端到端联合微调，以优化分割性能。
• 每个卷积层后均使用批量归一化和ReLU激活，以稳定训练过程。

实验结果

研究问题

• RQ1 统一的、端到端可训练的CNN是否能在无需光流标注的情况下实现优越的视频实例分割性能？
• RQ2 在无标签视频数据上进行对抗性预训练，是否能有效捕捉用于分割引导的动态外观与运动线索？
• RQ3 在多尺度特征上应用粗到细注意力机制是否能提升分割精度，尤其是在非刚性或快速运动物体上？
• RQ4 在包含遮挡和外观变化等复杂场景的基准上，该方法与最先进方法相比表现如何？
• RQ5 该模型能否在DAVIS-2016、DAVIS-2017和Youtube-Object等多样化数据集上实现良好泛化？

主要发现

• 在DAVIS-2016数据集上，STCNN实现了0.838的平均交并比（mIoU），创下新的最先进性能记录。
• 在Youtube-Object数据集上，该方法达到0.796 mIoU，较之前最先进方法MRFCNN（0.784 mIoU）高出0.012 mIoU。
• 在快速运动物体（如汽车和猫）上，模型优于基于光流的方法（如OFL和MSK），因光流估计在此类场景中不准确。
• 在DAVIS-2017上，STCNN实现58.7%的平均区域相似度（J）和64.6%的轮廓准确率（F），优于OSVOS和FAVOS等方法。
• 定性结果表明，由于粗到细注意力的优化过程，非刚性物体（如猫和马）的边界精度得到显著提升。
• 消融实验确认，无标签数据上的对抗性预训练以及多尺度注意力机制对性能提升有显著贡献。