[论文解读] PanoNet: Real-time Panoptic Segmentation through Position-Sensitive Feature Embedding

Xia Chen, Jianren Wang+1 more|arXiv (Cornell University)|Aug 1, 2020

Robotics and Sensor-Based Localization参考文献 54被引用 10

一句话总结

PanoNet 是一种实时全景分割框架，通过单阶段、轻量级的全卷积网络（FCN）架构结合位置敏感特征嵌入，统一了语义分割与实例分割。通过将空间坐标融入像素级嵌入，它在 2048×1024 图像上实现了 20 FPS 的推理速度，仅需 3 GB 显存，相较于以往方法在速度-精度权衡上表现更优，同时保持了较高的全景分割质量（PQ: 55.1）。

ABSTRACT

We propose a simple, fast, and flexible framework to generate simultaneously semantic and instance masks for panoptic segmentation. Our method, called PanoNet, incorporates a clean and natural structure design that tackles the problem purely as a segmentation task without the time-consuming detection process. We also introduce position-sensitive embedding for instance grouping by accounting for both object's appearance and its spatial location. Overall, PanoNet yields high panoptic quality results of high-resolution Cityscapes images in real-time, significantly faster than all other methods with comparable performance. Our approach well satisfies the practical speed and memory requirement for many applications like autonomous driving and augmented reality.

研究动机与目标

• 解决缺乏实时、高效、统一语义与实例分割的全景分割方法的问题。
• 通过在特征嵌入中引入空间位置信息，克服标准全卷积网络（FCN）在区分外观相似实例时的局限性。
• 设计一种单阶段、端到端的框架，使语义分割与实例分割分支共享主干特征，以提升效率。
• 在高分辨率输入下实现高推理速度与低内存占用，同时不牺牲分割质量。
• 为自动驾驶和增强现实等实际应用提供低延迟、高精度场景理解的实用解决方案。

提出的方法

• 提出一种单阶段全景分割网络（PanoNet），使用共享编码器主干网络（如 ICNet）同时处理语义与实例分割任务。
• 通过将空间坐标（坐标图）与学习到的特征嵌入拼接，引入位置敏感特征嵌入，打破 FCN 的平移不变性。
• 采用判别性损失进行网络训练，以促使不同实例的嵌入具有区分性，同时保持空间一致性。
• 在学习到的嵌入上应用基于聚类的后处理步骤，生成实例掩码，综合考虑外观特征与空间邻近性。
• 设计轻量化架构，参数量极少（12M），显存占用低（3 GB），实现在消费级 GPU 上的实时推理。
• 采用参数共享变体以实现模型压缩，尽管性能略有下降（PQ: 52.3），当仅共享浅层参数时。

实验结果

研究问题

• RQ1 单阶段、端到端的全景分割框架是否能在不依赖区域提议的情况下，实现在高分辨率图像上的实时推理？
• RQ2 在像素级特征嵌入中引入空间位置信息是否能显著提升实例分割性能，特别是在外观相似的物体上？
• RQ3 在语义与实例分割分支之间共享参数的统一网络结构，是否能在降低计算成本的同时保持高精度？
• RQ4 位置敏感嵌入在多大程度上缓解了标准 FCN 基于嵌入聚类的失败案例（如将外观相似的物体错误合并）？
• RQ5 是否可能在显著减小模型尺寸与显存占用的前提下，实现最先进的全景分割质量，从而实现在资源受限设备上的部署？

主要发现

• PanoNet 在 2048×1024 的 Cityscapes 图像上仅使用 3 GB GPU 显存，实现了 20 FPS 的推理速度，是首个在单张 GPU 上实现实时全景分割的模型。
• 采用轻量级 ICNet 主干网络，PanoNet 在 Cityscapes 验证集上达到 55.1 的全景质量（PQ），尽管速度与效率突出，其性能仍与最先进模型相当。
• 消融实验表明，位置敏感嵌入显著提升了实例分割的 AP，尤其在外观完全相同或镜像对称的物体上表现更优。
• 在包含四辆汽车（两对镜像相同型号）的镜像图像中，非位置敏感嵌入将镜像车辆错误合并为一个实例，而位置敏感嵌入能正确分离出全部四个独立实例。
• PanoNet 仅使用 1200 万个参数，且可在 4 张 GPU 上高效训练，而其他领先模型通常需要 16 张或更多 GPU，凸显其训练效率优势。
• 该模型的显存效率使得全图推理可在单次前向传播中完成，避免了因显存不足而需对大图像进行裁剪的复杂处理，这是大型模型的常见限制。