[论文解读] Learning Features by Watching Objects Move

Deepak Pathak, Ross Girshick+3 more|arXiv (Cornell University)|Dec 19, 2016

Advanced Image and Video Retrieval Techniques被引用 18

一句话总结

该论文提出了一种新颖的无监督特征学习方法，通过利用视频中的基于运动的分割作为伪真实标签，训练卷积神经网络在静态图像中分割物体。该方法借助共同命运的格式塔原则，学习到的高层视觉表征显著优于以往的无监督方法，在物体检测的迁移学习中表现突出，尤其在数据稀缺条件下。

ABSTRACT

This paper presents a novel yet intuitive approach to unsupervised feature learning. Inspired by the human visual system, we explore whether low-level motion-based grouping cues can be used to learn an effective visual representation. Specifically, we use unsupervised motion-based segmentation on videos to obtain segments, which we use as 'pseudo ground truth' to train a convolutional network to segment objects from a single frame. Given the extensive evidence that motion plays a key role in the development of the human visual system, we hope that this straightforward approach to unsupervised learning will be more effective than cleverly designed 'pretext' tasks studied in the literature. Indeed, our extensive experiments show that this is the case. When used for transfer learning on object detection, our representation significantly outperforms previous unsupervised approaches across multiple settings, especially when training data for the target task is scarce.

研究动机与目标

• 开发一种简单直观的无监督表征学习方法，受人类视觉发育启发，利用运动线索引导物体分组。
• 解决监督预训练的局限性，消除对手动标注的依赖，同时保持强大的迁移性能。
• 探究基于运动的分组线索是否可作为有效监督信号，用于学习无需语义标签的可泛化视觉特征。
• 评估所学特征在多个下游任务中的可扩展性和可迁移性，尤其是在标注数据有限的情况下。

提出的方法

• 使用光流在视频中执行无监督的基于运动的分割，将运动一致的像素分组为连贯的物体区域。
• 将得到的基于运动的分割结果作为真实标签，用于训练卷积神经网络，从单张静态图像中预测物体掩码。
• 仅使用单张图像的外观线索训练卷积神经网络预测这些基于运动的掩码，推理时不访问任何运动信息。
• 在下游任务（如物体检测、图像分类和语义分割）上使用有限的标注数据对所学表征进行微调。
• 采用多尺度全卷积网络架构，实现端到端的特征学习与任务间迁移。
• 利用运动线索有助于解决静态图像中的模糊分组问题，迫使网络学习物体级语义，而非依赖低级外观特征。

实验结果

研究问题

• RQ1 未经筛选的视频中的基于运动的分组线索能否作为无监督学习通用视觉表征的有效监督信号？
• RQ2 训练卷积神经网络从静态图像中预测基于运动的分割结果，是否能产生比其他掩码预测任务更优的泛化特征？
• RQ3 随着未标注视频数据量的增加，所学表征的性能如何变化？
• RQ4 在使用有限标注数据进行微调时，该方法在多大程度上优于现有的无监督预训练方法？

主要发现

• 该方法在 PASCAL VOC 2007 物体检测任务中达到无监督预训练方法的最先进性能，比以往无监督方法高出 10 个 AP 点，且接近 ImageNet 预训练模型的性能。
• 在使用有限数据进行微调时，该方法显著优于其他无监督方法，尤其当更多层被冻结时，表明高层特征具有强大的泛化能力。
• 表征质量随训练数据量的增加呈对数增长，表明若拥有足够规模的网络视频数据（例如约 2700 万帧），其性能有望超越 ImageNet 预训练。
• 在图像分类和语义分割任务中，该方法在 VOC 2007 上排名第二，在 VOC 2011 上位列顶尖，尤其在动作分类任务中表现优异，得益于视频数据的动态内容。
• 该模型能够优化噪声较大的基于运动的分割结果，展示了其从噪声且无监督的线索中提取有意义信号的能力。
• 即使仅使用 YFCC100M 数据集中的 160 万帧，该方法仍取得强劲性能，且随着数据量增加，准确率显著提升。