[论文解读] BoundarySqueeze: Image Segmentation as Boundary Squeezing

Hao He, Xiangtai Li+6 more|arXiv (Cornell University)|May 25, 2021

Advanced Neural Network Applications参考文献 80被引用 8

一句话总结

本文提出BoundarySqueeze，一种新颖的图像分割方法，将实例分割与语义分割统一为基于双流形光流变形的边界压缩过程，通过形态学膨胀/腐蚀作为监督信号，轻量级的边界压缩模块显著提升了边界精度，在COCO和Cityscapes数据集上相较PointRend实现1.0–1.1 mIoU的性能增益，且推理速度更快。

ABSTRACT

This paper proposes a novel method for high-quality image segmentation of both objects and scenes. Inspired by the dilation and erosion operations in morphological image processing techniques, the pixel-level image segmentation problems are treated as squeezing object boundaries. From this perspective, a novel and efficient extbf{Boundary Squeeze} module is proposed. This module is used to squeeze the object boundary from both inner and outer directions, which contributes to precise mask representation. A bi-directionally flow-based warping process is proposed to generate such squeezed feature representation, and two specific loss signals are designed to supervise the squeezing process. The Boundary Squeeze module can be easily applied to both instance and semantic segmentation tasks as a plug-and-play module by building on top of some existing methods. Moreover, the proposed module is light-weighted, and thus has potential for practical usage. Experiment results show that our simple yet effective design can produce high-quality results on several different datasets. Besides, several other metrics on the boundary are used to prove the effectiveness of our method over previous work. Our approach yields significant improvement on challenging COCO and Cityscapes datasets for both instance and semantic segmentation, and outperforms previous state-of-the-art PointRend in both accuracy and speed under the same setting. Codes and models will be published at \url{https://github.com/lxtGH/BSSeg}.

研究动机与目标

• 解决基于深度学习的图像分割中边界定位不精确的问题，尤其针对细粒度物体细节。
• 克服现有方法（如PointRend）的局限性，后者依赖非均匀点采样且缺乏结构化引导，在模糊边界上表现不佳。
• 通过受形态学图像处理启发的共享边界中心范式，统一实例分割与语义分割。
• 开发一种即插即用模块，无需修改网络架构即可增强现有模型，同时提升精度与效率。

提出的方法

• 提出边界压缩模块（BSM），一种轻量级、端到端可训练的组件，通过双向光流特征变形实现边界精细化。
• 设计压缩特征生成器（SFG），利用基于光流的特征图变形，学习从外向边界收缩与从内向边界扩展的流场。
• 使用真实标注掩码的形态学膨胀与腐蚀作为两个流分支的监督信号，实现数据驱动的边界精细化。
• 将BSM作为即插即用模块集成至现有分割框架（如Mask R-CNN与DeeplabV3+），适用于实例与语义分割任务。
• 训练过程中引入两个辅助损失：一个用于收缩流，一个用于扩展流，均用于监督边界特征质量。
• 采用随机缩放、裁剪与水平翻转增强策略，并在COCO、Cityscapes与BDD100K上使用多项式学习率衰减进行训练。

实验结果

研究问题

• RQ1 通过将边界建模为动态压缩过程，基于边界中心的方法是否能提升图像分割中的掩码精度？
• RQ2 通过学习的流场实现的双向（内向与外向）边界压缩，是否能相比基于点或均匀特征细化，产生更准确且结构更清晰的边界预测？
• RQ3 像BSM这样的轻量级即插即用模块，是否能在不改变网络架构的前提下，在实例与语义分割任务中均实现最先进性能？
• RQ4 在具有挑战性的细粒度物体边界（如低对比度区域）上，该方法与PointRend相比在边界精度上表现如何？
• RQ5 将形态学操作（膨胀/腐蚀）作为监督信号，在多大程度上提升了模型的泛化能力与边界定位精度？

主要发现

• 在COCO实例分割基准上，当使用ResNet-50时，BoundarySqueeze相较PointRend实现1.0 mIoU的增益；使用ResNet-101时，增益达1.1 mIoU，且在完全相同的训练与推理设置下完成。
• 在Cityscapes语义分割数据集上，该方法相较PointRend将mIoU提升1.0–1.1个百分点，且在所有F-score阈值下均保持一致增益，尤其在低阈值下（反映更精细边界）表现更优。
• 在BDD10000数据集上，BoundarySqueeze在基线DeeplabV3+与PointRnd上均保持一致的性能提升，展现出在多样化场景类型中的强大泛化能力。
• 可视化结果表明，BSM生成的边界特征更细、更精确，且收缩与扩展流场清晰引导了掩码的精准优化。
• 该方法在精度与速度上均优于PointRend，表明基于光流的变形机制相比自适应点渲染更具效率与有效性。
• BSM的即插即用特性使其可无缝集成至Mask R-CNN与DeeplabV3+等现有模型中，实现一致性能增益，且无需微调主干网络或修改主干架构。