[论文解读] Instance and Panoptic Segmentation Using Conditional Convolutions

Zhi Tian, Bowen Zhang+2 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Neural Network Applications参考文献 48被引用 4

一句话总结

该论文提出CondInst，一种用于实例分割和全景分割的全卷积框架，用动态、实例感知的条件卷积替代基于ROI的特征裁剪。通过为每个实例条件性地生成掩码头滤波器，该方法在COCO数据集上实现了最先进（SOTA）的精度，同时推理速度更快、掩码分辨率更高，优于Mask R-CNN和以往方法，在速度与质量上均表现更优，且无需更长的训练周期。

ABSTRACT

We propose a simple yet effective framework for instance and panoptic segmentation, termed CondInst (conditional convolutions for instance and panoptic segmentation). In the literature, top-performing instance segmentation methods typically follow the paradigm of Mask R-CNN and rely on ROI operations (typically ROIAlign) to attend to each instance. In contrast, we propose to attend to the instances with dynamic conditional convolutions. Instead of using instance-wise ROIs as inputs to the instance mask head of fixed weights, we design dynamic instance-aware mask heads, conditioned on the instances to be predicted. CondInst enjoys three advantages: 1.) Instance and panoptic segmentation are unified into a fully convolutional network, eliminating the need for ROI cropping and feature alignment. 2.) The elimination of the ROI cropping also significantly improves the output instance mask resolution. 3.) Due to the much improved capacity of dynamically-generated conditional convolutions, the mask head can be very compact (e.g., 3 conv. layers, each having only 8 channels), leading to significantly faster inference time per instance and making the overall inference time almost constant, irrelevant to the number of instances. We demonstrate a simpler method that can achieve improved accuracy and inference speed on both instance and panoptic segmentation tasks. On the COCO dataset, we outperform a few state-of-the-art methods. We hope that CondInst can be a strong baseline for instance and panoptic segmentation. Code is available at: https://git.io/AdelaiDet

研究动机与目标

• 为解决基于ROI的实例分割方法的局限性，如因固定尺寸裁剪和特征对齐导致的推理时间不一致和掩码分辨率低的问题。
• 将实例分割与全景分割统一为全卷积框架，消除对ROI裁剪和ROIAlign的需求。
• 通过紧凑的、动态的滤波器生成方式，使滤波器自适应于每个实例，从而提升掩码质量和推理效率。
• 证明仅使用条件卷积的更简单全卷积设计，可在精度和速度上超越Mask R-CNN等强大多阶段基线方法。

提出的方法

• CondInst 用动态、实例感知的掩码头替代Mask R-CNN中的固定权重掩码头，该掩码头基于目标实例嵌入条件性地生成滤波器。
• 掩码头使用轻量级主干网络（例如，仅含8通道的3层卷积）来基于从实例特征表示中提取的条件向量，为每个实例预测滤波器权重。
• 条件卷积通过一个轻量级网络实现，该网络基于实例的RoI特征预测掩码头卷积的核权重，从而实现针对实例的特定滤波。
• 该框架以端到端全卷积方式运行，消除了ROI裁剪和特征对齐操作，可直接输出每个实例的高分辨率掩码。
• 对于全景分割，将一个独立的语义分割头附加到相同的特征图上，通过重新加权实例掩码以确保类别一致性并避免重叠。
• 该方法使用标准的实例分割和全景分割目标进行训练，掩码标注根据全景标注规则进行调整（例如，重叠掩码仅分配给前景实例）。

实验结果

研究问题

• RQ1 使用动态、实例感知卷积滤波器的全卷积网络是否能在实例分割精度和推理速度上超越基于ROI的方法（如Mask R-CNN）？
• RQ2 消除ROI裁剪和特征对齐操作对实例分割中的掩码分辨率和模型效率有何影响？
• RQ3 仅使用8通道卷积的紧凑、动态掩码头能否与更大、固定权重的掩码头相比达到具有竞争力的性能？
• RQ4 与标准全卷积网络相比，使用条件卷积是否能实现更好的泛化能力和更优的细节保留？
• RQ5 该框架能否通过极少修改有效扩展至全景分割，并实现最先进性能？

主要发现

• 在使用ResNeXt-101-FPN主干网络和3×训练周期的COCO测试开发集上，CondInst取得47.8 PQ的性能，优于Panoptic-FPN（46.1 PQ）和AdaptIS（42.8 PQ）。
• 在Cityscapes验证集上，CondInst取得61.7 PQ，超过此前所有方法，包括Unifying（61.4 PQ）和Panoptic-FCN（61.4 PQ）。
• 由于避免将裁剪后的ROI重采样至固定尺寸，该方法的掩码分辨率显著高于基于ROI的方法。
• 由于采用紧凑且动态的掩码头架构，每个实例的推理时间显著缩短，且对实例数量的依赖性更低。
• CondInst在无需更长训练周期或复杂后处理的情况下，于实例分割和全景分割基准上均达到最先进性能。
• 定性结果表明，与YOLACT和Mask R-CNN相比，CondInst生成的掩码质量更高，能更好地保留细粒度细节。