[论文解读] Learning Semantic Segmentation with Weakly-Annotated Videos

Pavel Tokmakov, Karteek Alahari+1 more|arXiv (Cornell University)|Jul 28, 2016

Advanced Neural Network Applications参考文献 11被引用 15

一句话总结

该论文提出运动-CNN（M-CNN），一种全卷积神经网络，利用弱标注视频中的运动线索——将运动片段作为软约束——在无需像素级标注的情况下实现最先进（SOTA）的语义分割性能。仅使用150个弱标注视频进行训练，M-CNN的性能可与在数千张强标注图像上训练的方法相媲美，并在PASCAL VOC 2012和YouTube-Objects数据集上超越了先前的弱监督方法。

ABSTRACT

Fully convolutional neural networks (FCNNs) trained on a large number of images with strong pixel-level annotations have become the new state of the art for the semantic segmentation task. While there have been recent attempts to learn FCNNs from image-level weak annotations , they need additional constraints, such as the size of an object, to obtain reasonable performance. To address this issue, we present motion-CNN (M-CNN), a novel FCNN framework which incorporates motion cues and is learned from video-level weak annotations. Our learning scheme to train the network uses motion segments as soft constraints, thereby handling noisy motion information. When trained on weakly-annotated videos, our method outperforms the state-of-the-art EM-Adapt approach on the PASCAL VOC 2012 image segmentation benchmark. We also demonstrate that the performance of M-CNN learned with 150 weak video annotations is on par with state-of-the-art weakly-supervised methods trained with thousands of images. Finally, M-CNN substantially outperforms recent approaches in a related task of video co-localization on the YouTube-Objects dataset. This is an extended version of our ECCV 2016 paper.

研究动机与目标

• 解决现有弱监督语义分割方法依赖额外约束（如物体大小）的局限性。
• 探究是否可利用视频级弱标注中的运动线索，在无像素级监督的情况下有效指导语义分割。
• 开发一种仅使用视频级标签即可实现高性能的框架，减少对昂贵像素级标注的依赖。
• 通过弱监督学习提升图像级语义分割和视频共定位任务的性能。

提出的方法

• M-CNN是一种端到端训练的全卷积神经网络，使用视频级弱标注进行训练。
• 从视频中提取的运动片段在训练过程中作为软约束，引导网络实现更精确的空间定位。
• 该框架利用视频中的时间一致性，推断合理的物体边界和语义布局。
• 采用多阶段训练策略，通过运动感知监督逐步优化预测结果。
• 该方法引入一种损失函数，鼓励运动片段间激活的一致性，从而降低不可靠运动线索带来的噪声。
• 训练采用弱监督目标，无需边界框或像素级掩码。

实验结果

研究问题

• RQ1 来自弱标注视频的运动线索是否能在无像素级标注的情况下提升语义分割性能？
• RQ2 M-CNN在准确率和数据效率方面与现有弱监督方法相比如何？
• RQ3 M-CNN是否能仅使用视频级标签泛化到相关任务（如视频共定位）？
• RQ4 在仅使用150个弱标注视频的情况下，模型性能能在多大程度上匹配在数千张强标注图像上训练的模型？

主要发现

• 在仅使用弱标注视频训练的情况下，M-CNN在PASCAL VOC 2012图像分割基准上优于EM-Adapt方法。
• 仅使用150个弱标注视频，M-CNN的性能即可与在数千张图像上训练的最先进弱监督方法相媲美。
• 在YouTube-Objects数据集的视频共定位任务中，M-CNN显著优于近期方法。
• 将运动片段作为软约束能有效缓解运动信息中的噪声，提升定位准确性。
• 该模型在图像和视频级弱监督任务中均展现出强大的泛化能力。