[论文解读] Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts

Mingmin Zhen, Jinglu Wang+6 more|arXiv (Cornell University)|Apr 16, 2020

Advanced Neural Network Applications参考文献 39被引用 18

一句话总结

该论文提出RPCNet，一种用于语义分割和语义边界检测的联合多任务学习框架，通过迭代式金字塔上下文模块（PCM）实现跨任务特征优化。该方法引入空间梯度融合以抑制非语义边缘，并采用对偶损失以确保边界一致性，在Cityscapes数据集上达到81.8%的mIoU，边界检测AP提升9.9%，性能达到当前最先进水平。

ABSTRACT

In this paper, we present a joint multi-task learning framework for semantic segmentation and boundary detection. The critical component in the framework is the iterative pyramid context module (PCM), which couples two tasks and stores the shared latent semantics to interact between the two tasks. For semantic boundary detection, we propose the novel spatial gradient fusion to suppress nonsemantic edges. As semantic boundary detection is the dual task of semantic segmentation, we introduce a loss function with boundary consistency constraint to improve the boundary pixel accuracy for semantic segmentation. Our extensive experiments demonstrate superior performance over state-of-the-art works, not only in semantic segmentation but also in semantic boundary detection. In particular, a mean IoU score of 81:8% on Cityscapes test set is achieved without using coarse data or any external data for semantic segmentation. For semantic boundary detection, we improve over previous state-of-the-art works by 9.9% in terms of AP and 6:8% in terms of MF(ODS).

研究动机与目标

• 为解决现有方法将语义分割与边界检测视为独立任务的问题，尽管两者存在双重关系。
• 通过利用掩码轮廓与真实边界之间的对偶性，提升语义分割中的边界精度。
• 利用从语义掩码中提取的空间梯度，抑制边界检测中的非语义边缘。
• 设计一种联合训练框架，通过金字塔上下文模块实现在分割与边界检测任务之间的迭代特征优化。
• 在语义分割和语义边界检测基准上均实现最先进性能。

提出的方法

• 通过多尺度上下文特征，迭代式金字塔上下文模块（PCM）在语义分割与边界检测任务之间交替优化特征图。
• 在边界检测中，将从语义掩码中提取的空间梯度（∇M）通过切片拼接方式与概率图融合，以抑制非语义边缘。
• 提出一种新型对偶损失，强制约束由预测掩码（外轮廓）生成的边界与真实边界之间的一致性。
• 该对偶损失具有可微性，可在端到端训练过程中应用，以提升分割中边界像素的精度。
• 框架采用ResNet-101作为主干网络，并仅使用Cityscapes数据集中精细标注的训练数据进行训练。
• 网络通过标准交叉熵损失进行优化，同时结合对偶损失用于语义分割与边界检测任务。

实验结果

研究问题

• RQ1 联合学习语义分割与语义边界检测是否能同时提升两个任务的性能？
• RQ2 如何有效抑制语义边界检测中的非语义边缘？
• RQ3 能否利用分割掩码与其边界之间的对偶性来提升边界精度？
• RQ4 任务间迭代的多尺度上下文聚合是否带来性能增益？
• RQ5 联合框架是否能在不依赖外部或粗标注数据的情况下超越最先进方法？

主要发现

• RPCNet仅使用精细标注的训练数据，在Cityscapes测试集上达到81.8%的mIoU，超越先前最先进方法。
• 与先前SOTA方法CASENet*相比，该方法在语义边界检测任务中AP提升9.9%，MF(ODS)提升6.8%。
• 引入空间梯度融合后，非语义边缘的误报显著减少，边界预测更加清晰准确。
• 对偶损失显著提升了边界像素精度，定性结果表明，此前被误分类的物体（如'Pole'）现在被正确分割。
• 迭代式金字塔上下文模块实现了有效的跨任务特征优化，使两个任务均获得一致的性能提升。
• 消融实验表明，空间梯度融合与对偶损失在性能提升中均具有独立且协同的作用。