[论文解读] Active Boundary Loss for Semantic Segmentation

Chi Wang, Yunke Zhang+7 more|arXiv (Cornell University)|Feb 4, 2021

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种模型无关的可微分损失函数——主动边界损失（Active Boundary Loss, ABL），通过将边界对齐建模为方向向量预测问题，在端到端训练过程中动态引导预测边界趋近真实边界。ABL在图像和视频数据集上提升了语义分割的边界F-score和mIoU，尤其在细小物体上表现更优，优于交叉熵、IoU以及先前的边界损失方法。

ABSTRACT

This paper proposes a novel active boundary loss for semantic segmentation. It can progressively encourage the alignment between predicted boundaries and ground-truth boundaries during end-to-end training, which is not explicitly enforced in commonly used cross-entropy loss. Based on the predicted boundaries detected from the segmentation results using current network parameters, we formulate the boundary alignment problem as a differentiable direction vector prediction problem to guide the movement of predicted boundaries in each iteration. Our loss is model-agnostic and can be plugged in to the training of segmentation networks to improve the boundary details. Experimental results show that training with the active boundary loss can effectively improve the boundary F-score and mean Intersection-over-Union on challenging image and video object segmentation datasets.

研究动机与目标

• 为解决语义分割中边界模糊和不准确的长期问题，特别是针对小尺寸和细长物体。
• 开发一种训练损失，明确鼓励预测边界与真实边界对齐，超越标准的像素级分类。
• 构建一种可微分、动态的损失函数，能够根据当前网络预测自适应调整。
• 在不修改网络架构或推理流程的前提下提升分割质量。
• 在图像和视频分割任务中实现泛化，涵盖如DeepLabV3、OCR、SwinTransformer和STM等最先进模型。

提出的方法

• ABL将边界对齐建模为可微分的方向向量预测问题，其中每个预测边界像素沿方向向量向最近的真实边界像素移动。
• 通过在真实边界上应用距离变换计算边界距离图，以确定每个预测边界像素的方向向量。
• 损失函数沿方向向量对预测边界执行概率性移动，从而在反向传播中实现梯度流动。
• 从边界预测分支中分离梯度，以抑制优化过程中的潜在冲突。
• ABL与标准损失（如交叉熵和Lovász-Softmax）结合使用，以稳定训练并提升边界质量。
• 该方法具有模型无关性，可无缝集成到现有分割网络中，无需修改架构。

实验结果

研究问题

• RQ1 一种可微分、动态的损失是否能在不依赖后处理的情况下改善语义分割中的边界对齐？
• RQ2 与现有的边界感知损失（如Boundary Loss和基于IoU的损失）相比，ABL在边界F-score和mIoU上的表现如何？
• RQ3 ABL是否能有效提升易受边界模糊影响的小尺寸和细长物体的分割性能？
• RQ4 ABL是否能在不同架构（包括CNN和Transformer）上实现泛化，适用于图像和视频分割任务？
• RQ5 ABL是否能与交叉熵和Lovász-Softmax等其他损失有效结合，以提升训练稳定性和边界细节？

主要发现

• 与标准交叉熵损失相比，在Cityscapes验证集上使用ABL训练可使平均交并比（mIoU）提升0.7%，边界F-score提升1.0%。
• 在DAVIS-2016视频实例分割基准上，使用ABL微调STM模型可使区域相似度指标（J-mean）提升0.7%，轮廓准确率（F-mean）提升1.0%。
• 在WMH数据集上，ABL实现了0.768的Dice相似系数（DSC）和0.980的Hausdorff距离（HD），优于使用边界损失的基线模型。
• 在定性比较中，ABL使交通灯和摩托车尾灯等细小物体的边界更加清晰，预测边界逐步对齐至真实边缘。
• ABL在多种模型（包括DeepLabV3、OCR、SwinTransformer和STM）上均一致提升性能，证明其泛化能力和即插即用特性。
• 在边界附近区域，ABL在边界对齐方面优于Boundary Loss和IoU-based损失，尤其在先前方法因弱监督而表现不佳的区域。