[论文解读] A Generalist Framework for Panoptic Segmentation of Images and Videos

Ting Chen, Lala Li+3 more|arXiv (Cornell University)|Oct 12, 2022

Image Retrieval and Classification Techniques被引用 10

一句话总结

本文提出了一种通用框架，通过将扩散模型与模拟比特结合，将图像和视频的全景分割任务建模为条件离散掩码生成。该方法通过采用简单架构和通用损失函数，在不依赖任务特定设计的前提下，实现了与专用模型相当的性能，同时通过在推理过程中流式处理历史预测结果，实现了视频分割的端到端处理。

ABSTRACT

Panoptic segmentation assigns semantic and instance ID labels to every pixel of an image. As permutations of instance IDs are also valid solutions, the task requires learning of high-dimensional one-to-many mapping. As a result, state-of-the-art approaches use customized architectures and task-specific loss functions. We formulate panoptic segmentation as a discrete data generation problem, without relying on inductive bias of the task. A diffusion model is proposed to model panoptic masks, with a simple architecture and generic loss function. By simply adding past predictions as a conditioning signal, our method is capable of modeling video (in a streaming setting) and thereby learns to track object instances automatically. With extensive experiments, we demonstrate that our simple approach can perform competitively to state-of-the-art specialist methods in similar settings.

研究动机与目标

• 开发一种通用的、与任务无关的全景分割框架，避免使用任务特定的架构和损失函数。
• 利用扩散模型将高维全景掩码建模为离散标记序列，克服自回归生成方法的局限性。
• 通过在流式处理历史帧预测结果的基础上，实现端到端的视频全景分割，实现自动实例跟踪。
• 证明一种简单、通用的方法在图像和视频设置下，能够达到或接近最先进的专用方法的性能。

提出的方法

• 将全景分割建模为条件离散掩码生成任务，将全景掩码视为语义和实例标签的两通道分类序列。
• 使用比特扩散模型直接生成大规模离散掩码，通过模拟比特表示离散标记，从而实现对高维分类数据的训练。
• 将模型分解为图像编码器和掩码解码器，仅在推理时通过解码器进行迭代推理，从而实现高效推理。
• 通过将历史帧预测结果作为额外上下文附加到输入中，实现对视频中掩码生成的条件化，从而实现自动实例跟踪。
• 使用通用交叉熵损失进行训练，不引入任务特定的归纳偏置，优化在给定输入图像下真实掩码的似然性。
• 对图像和视频数据采用相同的模型架构和训练流程，仅对视频流式处理进行最小程度的调整。

实验结果

研究问题

• RQ1 一种通用的、与任务无关的框架是否能在不依赖任务特定架构或损失函数的前提下，实现全景分割的竞争力表现？
• RQ2 扩散模型是否能有效生成大规模离散全景掩码，从而克服自回归模型的序列性限制？
• RQ3 能否通过在历史帧预测结果上进行流式条件化，将单一图像模型扩展至视频分割，从而实现自动实例跟踪？
• RQ4 在图像和视频全景分割基准测试中，基于通用扩散模型的方法在准确率和效率方面与最先进的专用模型相比如何？

主要发现

• 所提出的基于比特扩散的框架在 MS-COCO、Cityscapes 和 DAVIS 基准上实现了具有竞争力的性能，尽管使用了通用架构和损失函数，其结果与最先进水平相当或接近。
• 该模型成功利用扩散过程生成了大规模离散全景掩码（超过一百万个标记），证明了其在高维离散数据上的可扩展性。
• 通过在历史帧预测结果上进行条件化，模型在无需显式跟踪头或实例匹配模块的情况下，学会了在视频帧之间跟踪物体。
• 该方法在无监督视频对象分割（UVOS）任务上泛化能力出色，仅需极少微调即可取得优异结果，且无需人工初始化。
• 由于图像编码器与掩码解码器的分离设计，推理过程高效，生成过程中仅需在解码器上进行迭代优化。
• 该框架表明，一种简单、通用的方法可以超越或媲美复杂的专用流水线，为未来可扩展、可适应的视觉模型提供了潜在方向。