[论文解读] Learning visual groups from co-occurrences in space and time

Phillip Isola, Daniel Zoran+2 more|arXiv (Cornell University)|Nov 21, 2015

Remote-Sensing Image Classification参考文献 37被引用 80

一句话总结

本文提出一种自监督框架，通过预测视觉原语（补丁、帧或照片）在空间或时间上的共现性，学习视觉分组（如物体、电影场景和地点类别）。利用深度神经网络分类两个视觉原语是否在空间或时间上下文中共现，该方法在无需任何标注数据的情况下，生成具有竞争力的物体提议、准确的电影场景分割结果以及语义上合理的照片聚类。

ABSTRACT

We propose a self-supervised framework that learns to group visual entities based on their rate of co-occurrence in space and time. To model statistical dependencies between the entities, we set up a simple binary classification problem in which the goal is to predict if two visual primitives occur in the same spatial or temporal context. We apply this framework to three domains: learning patch affinities from spatial adjacency in images, learning frame affinities from temporal adjacency in videos, and learning photo affinities from geospatial proximity in image collections. We demonstrate that in each case the learned affinities uncover meaningful semantic groupings. From patch affinities we generate object proposals that are competitive with state-of-the-art supervised methods. From frame affinities we generate movie scene segmentations that correlate well with DVD chapter structure. Finally, from geospatial affinities we learn groups that relate well to semantic place categories.

研究动机与目标

• 探究是否能从无标注视觉数据中的统计共现模式中涌现出物体和场景等视觉分组。
• 开发一种自监督方法，无需依赖人工标注的标签或手工设计的特征，学习语义分组。
• 证明空间与时间中的共现性可作为发现有意义视觉结构的强大监督信号。
• 在多样化领域中评估该方法：图像补丁分组、视频帧分割以及地理空间照片聚类。

提出的方法

• 训练一个深度神经网络，以预测两个视觉原语（补丁、帧或照片）是否在相同的空间或时间上下文中共现。
• 将该任务表述为二分类问题：预测两个输入是否可能在空间（图像）或时间（视频）上相邻。
• 使用网络预测的共现概率作为视觉元素之间的亲和度度量。
• 构建一个图结构，其中节点为视觉原语，边的权重由预测的共现亲和度决定。
• 对加权亲和度图应用谱聚类，以发现一致的视觉分组。
• 通过超参数 α 对边权重进行缩放和优化，以确保与基线亲和度度量的公平比较。

实验结果

研究问题

• RQ1 能否从无标注数据中的共现统计中学习到物体和场景等视觉分组？
• RQ2 在分组任务中，基于共现可预测性训练的判别模型是否优于手工设计或生成式模型？
• RQ3 该框架能否在不同领域（图像补丁、视频帧和地理空间照片）中通用，仅使用同一核心原理？
• RQ4 在聚类质量与边界检测方面，所学习的亲和度与传统度量（如颜色直方图、PMI）相比表现如何？

主要发现

• 该方法生成的物体提议与最先进的监督方法相比具有竞争力，在每张图像中最多生成100个提议时仍保持高召回率。
• 在电影分割任务中，该框架检测子章节场景的准确性优于DVD章节边界，且在边界检索任务中优于基线亲和度度量。
• 在地理空间照片聚类任务中，使用来自MIT City数据集的预训练亲和度，该方法在LabelMe Outdoor数据集的8分类聚类中达到了59%的纯度。
• 该模型在2015款MacBook Pro上每张图像的运行时间约为4秒，展现出良好的实际效率。
• 使用所学习亲和度的谱聚类在边界检测任务中始终优于颜色直方图相似性等基线度量。
• 该框架具备跨领域泛化能力：使用相同的共现原理，成功在图像、视频和照片集合中发现语义分组。