[论文解读] Fully Convolutional Networks for Panoptic Segmentation

Yanwei Li, Hengshuang Zhao+5 more|arXiv (Cornell University)|Dec 1, 2020

Video Surveillance and Tracking Methods参考文献 54被引用 12

一句话总结

本文提出 Panoptic FCN，一种全卷积框架，通过卷积核生成器为所有事物（things）和物质（stuff）生成实例特定的卷积核，统一了全景分割任务，实现了无需边界框或后处理的端到端高分辨率预测。该方法在单尺度推理下，于 COCO test-dev 上达到 47.5% PQ 的最先进性能，在 Cityscapes val 上达到 61.4% PQ。

ABSTRACT

In this paper, we present a conceptually simple, strong, and efficient framework for panoptic segmentation, called Panoptic FCN. Our approach aims to represent and predict foreground things and background stuff in a unified fully convolutional pipeline. In particular, Panoptic FCN encodes each object instance or stuff category into a specific kernel weight with the proposed kernel generator and produces the prediction by convolving the high-resolution feature directly. With this approach, instance-aware and semantically consistent properties for things and stuff can be respectively satisfied in a simple generate-kernel-then-segment workflow. Without extra boxes for localization or instance separation, the proposed approach outperforms previous box-based and -free models with high efficiency on COCO, Cityscapes, and Mapillary Vistas datasets with single scale input. Our code is made publicly available at https://github.com/Jia-Research-Lab/PanopticFCN.

研究动机与目标

• 在单一、端到端的全卷积框架下，统一全景分割中可数事物与不可数物质的表示方式。
• 在不依赖独立分支或后处理的前提下，解决事物实例感知与物质语义一致性之间的冲突。
• 以全卷积方式消除对边界框或额外实例分离模块（如偏移量、亲和力）的依赖。
• 通过统一的卷积核生成与卷积工作流，实现高分辨率、高效且精确的全景分割。

提出的方法

• 一个卷积核生成模块利用物体中心点和物质区域（由位置头与卷积核头生成）生成实例特定的卷积核权重。
• 每个实例或语义类别被编码为唯一的卷积核权重，从而可直接与高分辨率特征图进行卷积以实现预测。
• 通过卷积核融合操作，将具有相同身份或语义标签的卷积核合并，以确保一致性并避免冗余。
• 特征编码器保留高分辨率特征，以维持空间细节，实现精确的定位与分割。
• 通过直接将生成的卷积核与高分辨率特征图进行卷积完成预测，无需使用 NMS 或基于框的提议。
• 该框架仅需一次前向传播，无需后处理，因此完全为全卷积结构且高效。

实验结果

研究问题

• RQ1 一个统一的、全卷积的框架能否有效处理全景分割中实例感知的事物与语义一致的物质？
• RQ2 基于卷积核的生成方法能否在保持或提升准确率与效率的前提下，替代基于边界框或亲和力的方法？
• RQ3 卷积核融合能否在无需额外模块的情况下，确保物质的语义一致性与事物的身份分离？
• RQ4 在标准基准上，单尺度、端到端、基于卷积核的方法是否能超越现有的无框与有框模型？

主要发现

• 在 COCO test-dev 数据集上，Panoptic FCN 达到 47.5% PQ，比最先进基于边界框的方法高出 0.2% PQ，比领先的无框方法高出 1.9% PQ。
• 在 Cityscapes val 数据集上，其 PQ 达到 61.4%，比最佳无框模型高出 1.7% PQ，且与使用 Lovasz 损失的基于边界框模型性能相当。
• 在 Mapillary Vistas val 数据集上，通过简单增强，其 PQ 达到 36.9%，在无框类别中超越此前最先进方法 3.6% PQ。
• 该方法在 COCO、Cityscapes 和 Mapillary Vistas 三个基准上均达到最先进性能，且仅使用单尺度输入，无需数据增强或翻转。
• 消融实验表明，卷积核生成器与卷积核融合组件对性能至关重要，完整模型显著优于各类消融变体。
• 该框架完全为全卷积结构且高效，无需 NMS、边界框或复杂后处理步骤。