[论文解读] The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos

Runtao Liu, Zhirong Wu+2 more|arXiv (Cornell University)|Nov 11, 2021

Visual Attention and Saliency Detection参考文献 66被引用 13

一句话总结

本文提出了一种端到端的自监督框架，通过一种新颖的分割流表示，联合学习外观和运动表征，实现从视频中进行零样本对象分割。通过最小化视图合成误差来使用分割流，模型在无监督的情况下学习检测运动物体及其区域，实现了零样本对象分割的最先进性能，并且在不使用数据增强的情况下优于对比学习方法。

ABSTRACT

Humans can easily segment moving objects without knowing what they are. That objectness could emerge from continuous visual observations motivates us to model grouping and movement concurrently from unlabeled videos. Our premise is that a video has different views of the same scene related by moving components, and the right region segmentation and region flow would allow mutual view synthesis which can be checked from the data itself without any external supervision. Our model starts with two separate pathways: an appearance pathway that outputs feature-based region segmentation for a single image, and a motion pathway that outputs motion features for a pair of images. It then binds them in a conjoint representation called segment flow that pools flow offsets over each region and provides a gross characterization of moving regions for the entire scene. By training the model to minimize view synthesis errors based on segment flow, our appearance and motion pathways learn region segmentation and flow estimation automatically without building them up from low-level edges or optical flows respectively. Our model demonstrates the surprising emergence of objectness in the appearance pathway, surpassing prior works on zero-shot object segmentation from an image, moving object segmentation from a video with unsupervised test-time adaptation, and semantic image segmentation by supervised fine-tuning. Our work is the first truly end-to-end zero-shot object segmentation from videos. It not only develops generic objectness for segmentation and tracking, but also outperforms prevalent image-based contrastive learning methods without augmentation engineering.

研究动机与目标

• 开发一种真正端到端的零样本对象分割方法，从视频中进行分割，且不依赖标注数据。
• 探究是否可以通过联合建模外观和运动，从无标注视频数据中自发产生对独立运动物体的感知（即物体性）。
• 通过利用视频中的时间一致性，实现运动对象分割的无监督测试时适应。
• 在不进行微调或数据增强的情况下，超越先前的方法在零样本对象分割和语义图像分割任务中的表现。

提出的方法

• 该模型使用两个独立路径：一个外观路径用于在单张图像中基于特征进行区域分割，一个运动路径用于估计图像对之间的运动特征。
• 引入一种称为分割流的联合表征，通过在每个分割区域上聚合光流偏移量，以表征场景中的运动成分。
• 通过使用分割流作为监督信号，最小化同一场景不同视图之间的视图合成重建误差，实现端到端训练。
• 分割流支持相互视图合成，使模型能够直接从数据中验证预测，而无需外部监督。
• 外观路径和运动路径被联合优化，以同时提升区域分割和光流估计的性能。
• 该框架避免依赖低级边缘或光流监督，而是通过重建损失隐式学习这些特征。

实验结果

研究问题

• RQ1 通过联合建模外观和运动，是否能从无标注视频中自发产生物体性，而无需任何监督？
• RQ2 自监督框架是否能在不使用数据增强或微调的情况下，实现零样本对象分割的最先进性能？
• RQ3 使用分割流作为监督信号，是否能实现准确且可泛化的区域分割与运动估计？
• RQ4 该模型在运动对象分割的无监督测试时适应中表现如何？
• RQ5 该方法是否能在零样本分割任务中超越依赖数据增强的对比学习方法？

主要发现

• 该模型在图像的零样本对象分割任务中实现了最先进性能，且无需任何微调即可超越先前方法。
• 在使用无监督测试时适应进行视频中运动对象分割时，表现出强大的泛化能力。
• 外观路径在无监督情况下学习到检测类似物体的区域，表明物体性可从视频数据中自发产生。
• 即使不使用数据增强工程，该模型仍优于依赖数据增强的对比学习方法。
• 分割流表征支持准确的相互视图合成，验证了模型内部的一致性与鲁棒性。
• 该框架是首个完全端到端的零样本对象分割系统，仅通过无标注视频进行训练。