[论文解读] Label Refinement Network for Coarse-to-Fine Semantic Segmentation

Amirul Islam, Shujon Naha+3 more|arXiv (Cornell University)|Mar 1, 2017

Advanced Neural Network Applications参考文献 19被引用 51

一句话总结

LRN 引入了一种粗到细的 CNN 架构，利用多解码阶段的深度监督产生多分辨率的标签图，从而改进像素级语义分割。

ABSTRACT

We consider the problem of semantic image segmentation using deep convolutional neural networks. We propose a novel network architecture called the label refinement network that predicts segmentation labels in a coarse-to-fine fashion at several resolutions. The segmentation labels at a coarse resolution are used together with convolutional features to obtain finer resolution segmentation labels. We define loss functions at several stages in the network to provide supervisions at different stages. Our experimental results on several standard datasets demonstrate that the proposed model provides an effective way of producing pixel-wise dense image labeling.

研究动机与目标

• 提出一种用于语义分割的粗到细策略，在保持空间精度的同时利用高层编码器特征。
• 开发一个端到端的 CNN，在多个分辨率下预测分割图，并在每个阶段设置损失。
• 引入细化模块，通过跳跃连接将粗略标签预测与编码器特征融合，以提高细节。
• 在标准数据集上证明其有效性，并显示相对于单步分割基线的优势。

提出的方法

• 基于 VGG16 似的编码器的编码器-解码器架构。
• 解码器包含细化模块，通过跳跃连接将上采样的分割图与相应的编码器特征结合。
• 在六个解码阶段应用多种损失函数，以在不同分辨率下监督学习。
• 细化模块使用 3x3 卷积、批量归一化、ReLU、跳跃特征的拼接，以及双线性上采样。
• 最终训练优化所有阶段损失之和：sum_k=1^6 l_k。

实验结果

研究问题

• RQ1 相对于单次全分辨率预测，粗到细标注策略是否能提高像素级分割准确性？
• RQ2 在多个解码阶段进行深度监督并通过跳跃连接的细化是否能提高清晰边界和小物体细节？
• RQ3 在标准语义分割基准上，LRN 相对于强基线（如 SegNet、FCN-8s）的表现如何？

主要发现

• LRN 在 PASCAL VOC 2012、CamVid 和 SUN RGB-D 基准上优于 SegNet 和 SegNet+深度监督。
• 通过跳跃连接的渐进式细化保持细节，并相对于基线提升小型/细薄对象（如杆、标志）的细节。
• 阶段性监督和粗到细预测在各数据集上实现一致提升，且无需为每个阶段单独训练。
• 消融分析显示，后期阶段的标签图（s_6）提供最佳最终性能，早期到晚期阶段的 mean IoU 逐步提高。
• 定性结果显示在边界精度和对象轮廓方面优于单步方法。