[论文解读] Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation

Chufeng Tang, Hang Chen+4 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本文提出边界补丁精炼（BPR），一种后处理框架，通过在预测实例边界处裁剪的小型高分辨率补丁上进行精炼，从而提升实例分割边界质量。通过在这些局部补丁上应用专用精炼网络，BPR 在 Cityscapes 上相较 Mask R-CNN 实现 +4.3% AP 的提升，并在与 PolyTransform + SegFix 结合时达到 SOTA 性能（42.7% AP）。

ABSTRACT

Tremendous efforts have been made on instance segmentation but the mask quality is still not satisfactory. The boundaries of predicted instance masks are usually imprecise due to the low spatial resolution of feature maps and the imbalance problem caused by the extremely low proportion of boundary pixels. To address these issues, we propose a conceptually simple yet effective post-processing refinement framework to improve the boundary quality based on the results of any instance segmentation model, termed BPR. Following the idea of looking closer to segment boundaries better, we extract and refine a series of small boundary patches along the predicted instance boundaries. The refinement is accomplished by a boundary patch refinement network at higher resolution. The proposed BPR framework yields significant improvements over the Mask R-CNN baseline on Cityscapes benchmark, especially on the boundary-aware metrics. Moreover, by applying the BPR framework to the PolyTransform + SegFix baseline, we reached 1st place on the Cityscapes leaderboard.

研究动机与目标

• 解决实例分割中边界不精确的长期问题，尤其针对小物体和细节部分。
• 克服低分辨率特征图和类别不平衡带来的限制，其中边界像素代表性不足且优化效果差。
• 开发一种即插即用的后处理解决方案，无需微调或架构修改即可提升任意现有实例分割模型的性能。
• 通过聚焦局部高分辨率边界分析来模仿人工标注行为，从而提升掩码精度。
• 通过有效的边界精炼，在不修改主干模型的前提下实现在 Cityscapes 基准上的最先进性能。

提出的方法

• 从基础分割模型预测的每个实例掩码边界处，提取中心位于边界上的小型高分辨率图像补丁。
• 将每个边界补丁与其对应的掩码补丁拼接，形成多通道输入以供精炼。
• 应用高分辨率精炼网络（如 HRNetV2-W48）对每个边界补丁执行二值分割，以精炼掩码边界。
• 通过空间对齐和非极大值抑制（NMS）将精炼后的补丁重新组合为完整且高质量的实例掩码。
• 采用多尺度输入策略，将补丁从 64×64 缩放至 256×256，以在精炼过程中保留细粒度细节。
• 在推理过程中使用 0.55 的 NMS 阈值，以抑制重叠预测并提升边界连续性。

实验结果

研究问题

• RQ1 一种仅通过精炼局部边界补丁的后处理框架，是否能在不修改基础模型的前提下显著提升实例分割边界质量？
• RQ2 高分辨率补丁精炼在多大程度上能缓解实例分割中低分辨率特征图的影响？
• RQ3 通过增加局部补丁中边界像素的相对比例，是否能缓解优化偏差并提升分割精度？
• RQ4 所提方法是否能在不同实例分割基线模型上泛化，并在标准基准上实现最先进性能？
• RQ5 该框架在 COCO 等挑战性数据集上的表现如何，尤其是在使用更高精度标注的情况下？

主要发现

• 与 Mask R-CNN ResNeXt-FPN-101 基线相比，BPR 在 Cityscapes 验证集和测试集上实现了 +4.3% 的 AP 绝对提升。
• 当应用于 PolyTransform + SegFix 基线时，BPR 在 Cityscapes 测试集上进一步提升了 2.3% AP，优于原始的 PolyTransform + SegFix 设置。
• PolyTransform + BPR 的组合在 Cityscapes 测试集上达到 42.7% AP，截至 CVPR 2021 截稿日期，位列 Cityscapes 排行榜首位。
• 在 COCO 数据集上，BPR 将 Mask R-CNN ResNeXt-FPN-101 基线的性能提升了 0.8% AP，使用更高精度的 LVIS 标注时提升达 1.7% AP⋆，表明其在更复杂数据集上的泛化能力。
• 该框架效率较高，在单张 RTX 2080Ti GPU 上处理 1024×2048 的 Cityscapes 图像耗时约 211ms，显著快于先前方法如 PolyTransform。
• 定性结果表明，BPR 有效减少了过度平滑现象，生成了更锐利、更精确的边界，尤其在小物体和复杂结构周围表现更优。