[论文解读] Benchmarking Unsupervised Object Representations for Video Sequences

Marissa A. Weis, Kashyap Chitta+5 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 4

一句话总结

本文提出了一项基准测试，用于评估无监督对象中心视频表征模型，采用程序生成的视频数据集，其复杂度逐步提升且包含具有挑战性的追踪场景。该研究对比了四种方法——ViMON、OP3、TBA 和 SCALOR，发现具有无约束潜在空间的模型在检测、分割和追踪任务中表现优于基于空间变换器的架构，尽管所有模型在遮挡和复杂动态场景下均表现不佳。

ABSTRACT

Perceiving the world in terms of objects and tracking them through time is a crucial prerequisite for reasoning and scene understanding. Recently, several methods have been proposed for unsupervised learning of object-centric representations. However, since these models were evaluated on different downstream tasks, it remains unclear how they compare in terms of basic perceptual abilities such as detection, figure-ground segmentation and tracking of objects. To close this gap, we design a benchmark with four data sets of varying complexity and seven additional test sets featuring challenging tracking scenarios relevant for natural videos. Using this benchmark, we compare the perceptual abilities of four object-centric approaches: ViMON, a video-extension of MONet, based on recurrent spatial attention, OP3, which exploits clustering via spatial mixture models, as well as TBA and SCALOR, which use explicit factorization via spatial transformers. Our results suggest that the architectures with unconstrained latent representations learn more powerful representations in terms of object detection, segmentation and tracking than the spatial transformer based architectures. We also observe that none of the methods are able to gracefully handle the most challenging tracking scenarios despite their synthetic nature, suggesting that our benchmark may provide fruitful guidance towards learning more robust object-centric video representations.

研究动机与目标

• 为解决无监督对象中心视频表征模型在不同架构之间缺乏标准化评估的问题。
• 通过与下游任务无关的统一基准，评估对象中心模型的感知能力，具体包括检测、分割和追踪。
• 识别影响对象中心视频表征学习性能的架构归纳偏置。
• 评估模型在具有挑战性的追踪场景（如遮挡、重新进入和物体合并）下的泛化能力。

提出的方法

• 该基准包含四个程序生成的视频数据集（VMDS、SpMOT、VOR、texVMDS），其视觉复杂度逐步提升，并包含两个泛化测试集。
• 评估协议采用多目标追踪（MOT）框架，通过MOTA和IDF1等指标定量衡量检测、分割和追踪性能。
• 评估了四种对象中心模型：ViMON（循环空间注意力）、OP3（基于聚类的空间混合建模）、TBA 和 SCALOR（基于空间变换器的分解方法）。
• 所有模型均在相同视频序列和评估协议下进行训练与测试，以确保公平比较。
• 该基准包含具有挑战性的场景，如物体遮挡、遮挡后重新出现以及物体合并，以模拟真实的视频动态。
• 结果使用标准MOT指标报告，包括精确率、召回率和身份F1分数，并设定IoU阈值以匹配真实标注与预测物体。

实验结果

研究问题

• RQ1 在统一评估协议下，不同对象中心视频表征模型在对象检测、分割和追踪方面的表现如何比较？
• RQ2 在无监督视频表征学习中，哪种架构选择——无约束潜在空间还是显式空间变换器——能带来更好的感知性能？
• RQ3 模型在遮挡、物体合并和重新进入等具有挑战性的追踪场景下的泛化能力如何？
• RQ4 模型设计中的归纳偏置（如聚类或空间注意力）如何影响对象中心视频理解中的鲁棒性和准确性？

主要发现

• 具有无约束潜在表示的模型（如ViMON）在所有基准数据集上均优于基于空间变换器的模型（TBA 和 SCALOR），在检测、分割和追踪任务中表现更优。
• OP3在MOTA和IDF1得分上达到最高定量性能，但对颜色线索依赖性强，并且当物体数量少于槽位数量时会产生大量误报。
• 尽管TBA和SCALOR具备显式深度推理和非可见掩码预测能力，但其表现仍逊于ViMON，表明其架构机制尚未有效利用这些归纳偏置。
• 所有模型在遮挡问题上均表现显著不佳，即使在合成环境中也是如此，表明其在应对动态视觉挑战方面存在根本性缺陷。
• 该基准揭示，当前无监督对象中心模型在复杂追踪动态下的泛化能力不足，凸显了对更鲁棒架构设计的迫切需求。
• 公开发布了该基准、代码和排行榜，以支持未来在无监督视频表征学习领域的对比研究。