[论文解读] Boundary-preserving Mask R-CNN

Tianheng Cheng, Xinggang Wang+2 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Neural Network Applications参考文献 54被引用 12

一句话总结

本文提出边界保持掩码R-CNN（BMask R-CNN），一种新颖的实例分割框架，通过在统一的掩码头中利用特征融合模块联合学习目标边界和掩码，从而提升掩码定位精度。在不添加额外组件的情况下，其在COCO上相比Mask R-CNN实现了1.7%的AP提升，在Cityscapes上实现了2.2%的AP提升，且在更严格的IoU阈值下提升更为显著。

ABSTRACT

Tremendous efforts have been made to improve mask localization accuracy in instance segmentation. Modern instance segmentation methods relying on fully convolutional networks perform pixel-wise classification, which ignores object boundaries and shapes, leading coarse and indistinct mask prediction results and imprecise localization. To remedy these problems, we propose a conceptually simple yet effective Boundary-preserving Mask R-CNN (BMask R-CNN) to leverage object boundary information to improve mask localization accuracy. BMask R-CNN contains a boundary-preserving mask head in which object boundary and mask are mutually learned via feature fusion blocks. As a result, the predicted masks are better aligned with object boundaries. Without bells and whistles, BMask R-CNN outperforms Mask R-CNN by a considerable margin on the COCO dataset; in the Cityscapes dataset, there are more accurate boundary groundtruths available, so that BMask R-CNN obtains remarkable improvements over Mask R-CNN. Besides, it is not surprising to observe that BMask R-CNN obtains more obvious improvement when the evaluation criterion requires better localization (e.g., AP$_{75}$) as shown in Fig.1. Code and models are available at \url{https://github.com/hustvl/BMaskR-CNN}.

研究动机与目标

• 解决Mask R-CNN中因忽略目标边界和形状而导致的掩码预测粗糙、不精确的问题。
• 通过在掩码预测过程中显式利用边界信息，提升掩码定位精度。
• 设计一个统一网络，通过特征融合联合学习掩码与边界，增强边界对齐效果。
• 研究边界监督对掩码质量的影响，尤其是在高IoU阈值下的表现。
• 提供一种简单但有效的基线模型，可轻松集成至现有的Mask R-CNN框架中。

提出的方法

• 用边界保持掩码头替换Mask R-CNN中的标准掩码头，使其并行预测掩码与边界。
• 引入两个特征融合模块，实现边界预测分支与掩码预测分支之间的双向特征交互。
• 采用二元交叉熵损失与Dice损失的组合损失函数，以优化边界预测，缓解类别不平衡与稀疏标注问题。
• 设计Sobel掩码头作为消融实验变体，利用Sobel算子对预测掩码生成边界特征。
• 使用ResNet-50-FPN与ResNet-101-FPN主干网络，在COCO与Cityscapes上采用标准训练协议进行端到端训练。
• 利用边界特征提供的形状与定位线索，优化掩码预测，提升与真实标注的对齐程度。

实验结果

研究问题

• RQ1 显式边界监督能否提升实例分割中的掩码定位精度？
• RQ2 通过特征融合联合学习掩码与边界，对掩码质量与边界精度有何影响？
• RQ3 BMask R-CNN在更高IoU阈值下是否表现出更大的性能增益，表明其定位能力更强？
• RQ4 边界损失选择（BCE + Dice）对训练稳定性与边界预测质量有何影响？
• RQ5 基于Sobel的边界头能否作为专用边界分支的有效替代方案？

主要发现

• 在COCO验证集上，BMask R-CNN相比Mask R-CNN实现了1.7%的绝对AP增益，且在不同主干网络上均保持一致的性能提升。
• 在Cityscapes测试集上，BMask R-CNN相比Mask R-CNN实现了2.2%的AP增益，表明其在高质量标注数据上表现更优。
• 在更高IoU阈值（如AP75）下，该方法的性能提升更为显著，证实了其定位精度的增强。
• Sobel掩码头变体实现了34.0的AP，相比Mask R-CNN提升0.8 AP，但较主干方法仍低0.7 AP。
• 定性结果表明，BMask R-CNN生成的掩码更清晰、更分明，重叠更少，且边界对齐效果优于Mask R-CNN。
• 消融实验验证了特征融合模块与边界特征对性能增益的显著贡献，证实了设计选择的有效性。