[论文解读] Explicit Shape Encoding for Real-Time Instance Segmentation

Wenqiang Xu, Haiyang Wang+2 more|arXiv (Cornell University)|Aug 12, 2019

Advanced Neural Network Applications参考文献 37被引用 11

一句话总结

本文提出 ESE-Seg，一种基于显式形状编码的实时实例分割框架，通过内中心半径（IR）特征和切比雪夫多项式拟合，将物体形状回归为紧凑向量。通过仅使用简单的张量运算解码这些向量，ESE-Seg 实现了接近目标检测的速度——比 Mask R-CNN 快 7 倍，同时在 Pascal VOC 2012 上的 mAP@0.5 指标上超越其表现。

ABSTRACT

In this paper, we propose a novel top-down instance segmentation framework based on explicit shape encoding, named extbf{ESE-Seg}. It largely reduces the computational consumption of the instance segmentation by explicitly decoding the multiple object shapes with tensor operations, thus performs the instance segmentation at almost the same speed as the object detection. ESE-Seg is based on a novel shape signature Inner-center Radius (IR), Chebyshev polynomial fitting and the strong modern object detectors. ESE-Seg with YOLOv3 outperforms the Mask R-CNN on Pascal VOC 2012 at mAP$^r$@0.5 while 7 times faster.

研究动机与目标

• 解决实例分割的高计算成本问题，通常需要昂贵的逐实例掩码头推理。
• 通过用高效形状解码替代昂贵的掩码头网络，将实例分割的推理时间降低至与目标检测相当。
• 开发一种紧凑、抗噪性强且可通过简单运算实现快速、可微解码的形状表示方法。
• 在保持高精度和实时推理速度的同时，实现与现代目标检测器端到端联合训练。
• 在多种主干网络检测器（包括 YOLOv3、Faster R-CNN、RetinaNet 和 YOLOv3-tiny）上验证方法的泛化能力。

提出的方法

• 提出内中心半径（IR）形状特征：一种基于轮廓的表示方法，将物体边界点映射为相对于内中心点的极坐标。
• 将 IR 函数 f(θ) 表示为角度 θ 上的半径函数，实现参数化形状建模。
• 应用切比雪夫多项式拟合，将 f(θ) 压缩为小尺寸的系数向量（如 20 或 40 个系数），形成显式形状编码。
• 仅通过张量运算（乘法与加法）解码形状向量，实现单次前向传播中批量、并行重建所有实例掩码。
• 训练自顶向下的检测器（如 YOLOv3），联合回归边界框与形状系数，损失函数针对 IoU 和形状重建进行优化。
• 将形状解码与深度网络解耦，避免为每个实例使用独立解码器网络或多次前向传播。

实验结果

研究问题

• RQ1 通过参数化函数拟合实现显式形状编码，是否能在不损失精度的前提下降低实例分割的计算成本？
• RQ2 与其它形状表示方法（如顶点坐标、基于掩码的自编码器）相比，IR 特征在紧凑性、鲁棒性和重建质量方面表现如何？
• RQ3 切比雪夫多项式拟合是否能有效压缩形状函数，同时保留用于准确掩码预测的判别性信息？
• RQ4 所提方法在多种目标检测器（包括 YOLOv3-tiny 等轻量化模型）上，能否实现真正的实时推理？
• RQ5 显式解码机制是否在大规模场景下显著优于隐式、基于网络的解码方式，尤其在推理速度方面？

主要发现

• 使用 YOLOv3 的 ESE-Seg 在 Pascal VOC 2012 上达到 69.3 mAP@0.5，优于 Mask R-CNN 的 68.5 mAP@0.5，且在相同 ResNet-50 主干网络下推理速度提升 7 倍。
• 在 Pascal VOC 2012 上，使用 YOLOv3-tiny 的 ESE-Seg 在 GTX 1080Ti 上实现 130 FPS 的推理速度，mAP@0.5 保持在 53.2%，证明其具备实时推理能力。
• 对 IR 特征应用切比雪夫多项式拟合表现更优：IR-Cheby(20) 达到 62.6 mAP@0.5，优于 XY-Cheby(20+20) 的 53.1 mAP@0.5。
• 该方法在不同检测器上具有良好的泛化能力：使用 Faster R-CNN、RetinaNet 和 YOLOv3-tiny 的 ESE-Seg 均在 mAP@0.5 上取得 53.2% 至 65.9% 的稳定表现。
• 通过张量运算实现的显式解码机制，支持单次前向传播中所有实例掩码的并行重建，避免了隐式方法中逐实例解码的串行瓶颈。
• 在更高 IoU 阈值（如 0.7）下性能下降，表明在高精度要求下，形状向量重建精度存在局限。