[论文解读] DeeperLab: Single-Shot Image Parser

Tien-Ju Yang, Maxwell D. Collins+7 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Neural Network Applications参考文献 101被引用 162

一句话总结

DeeperLab 提出了一种单次、自下而上的图像解析器，用于全景分割，在一次前向中同时预测语义和实例标签，具备区域感知的 Parsing Covering 指标，并在 Mapillary Vistas 数据集上取得强劲结果。

ABSTRACT

We present a single-shot, bottom-up approach for whole image parsing. Whole image parsing, also known as Panoptic Segmentation, generalizes the tasks of semantic segmentation for 'stuff' classes and instance segmentation for 'thing' classes, assigning both semantic and instance labels to every pixel in an image. Recent approaches to whole image parsing typically employ separate standalone modules for the constituent semantic and instance segmentation tasks and require multiple passes of inference. Instead, the proposed DeeperLab image parser performs whole image parsing with a significantly simpler, fully convolutional approach that jointly addresses the semantic and instance segmentation tasks in a single-shot manner, resulting in a streamlined system that better lends itself to fast processing. For quantitative evaluation, we use both the instance-based Panoptic Quality (PQ) metric and the proposed region-based Parsing Covering (PC) metric, which better captures the image parsing quality on 'stuff' classes and larger object instances. We report experimental results on the challenging Mapillary Vistas dataset, in which our single model achieves 31.95% (val) / 31.6% PQ (test) and 55.26% PC (val) with 3 frames per second (fps) on GPU or near real-time speed (22.6 fps on GPU) with reduced accuracy.

研究动机与目标

• 实现高效的整图解析（全景分割），统一语义与实例分割。
• 提出一个单次传前向、自下而上的架构，在语义和实例头之间共享特征，以提升速度和简化设计。
• 引入设计策略以降低高分辨率输入的内存占用并提升感受野。
• 提出 Parsing Covering (PC) 指标，作为对全景质量（PQ）在区域级别的替代指标。
• 在 Mapillary Vistas 数据集上演示与状态最先进的性能-速度权衡。

提出的方法

• 使用带深度可分离卷积的共享编码器-解码器骨干，并通过更大卷积核和 ASPP 获得强感受野。
• 通过附着在公共解码器输出上的五个头，预测逐像素的语义标签和与类别无关的实例线索。
• 在上采样过程中使用 space-to-depth 和 depth-to-space 操作以管理内存。
• 在训练中使用硬像素挖掘和加权损失，以强调小实例和困难像素。
• 以简单、快速的最终融合步骤融合语义与实例预测，生成全景解析结果。

实验结果

研究问题

• RQ1 单次前向、自下而上的网络是否可以高效地为整图解析同时产生语义和实例分割？
• RQ2 结构选择（卷积核大小、解码器设计、ASPP、内存管理）如何影响高分辨率街景数据上的准确性与速度？
• RQ3 区域级指标如 Parsing Covering 是否为图像解析提供对 PQ 的互补洞见？
• RQ4 在 Mapillary Vistas 上，不同骨干（Xception-71 与 Wider MobileNetV2）在准确性与吞吐量之间的权衡是什么？

主要发现

• Xception-71 骨干在 Mapillary Vistas 验证集上实现 31.95% PQ 和 55.26% PC，GPU 下 3.09 fps。
• Wider MobileNetV2 与 ASPP 在 GPU 上达到 25.20% PQ 和 49.80% PC，FPS 为 6.19，整体速度更快。
• 轻量版 Wider MobileNetV2 对输入的下采样带来接近实时的速度（GPU 22.61 fps），但存在一定的精度损失。
• 采用 space-to-depth 和 depth-to-space 的解码器设计、较大的卷积核及更深的预测头，显著提升 PQ/PC 相对于基线。
• 硬像素挖掘和对小实例的权重增加带来可测量的 PQ/PC 提升（例如 PQ 提升至 24.99%，PC 提升至 49.23%）。
• 论文还提出 Parsing Covering（PC）作为区域级解析质量指标，并在补充材料中给出 Cityscapes、Pascal VOC 2012 和 COCO 的结果。