[论文解读] Learning a Discriminative Feature Network for Semantic Segmentation

Changqian Yu, Jingbo Wang+4 more|arXiv (Cornell University)|Apr 25, 2018

Multimodal Machine Learning Applications参考文献 33被引用 88

一句话总结

提出了一种判别特征网络（DFN），包含用于类内一致性的平滑网络和用于类间区分的边界网络，在无需后处理的情况下，在 VOC 2012 和 Cityscapes 上达到最先进的结果。

ABSTRACT

Most existing methods of semantic segmentation still suffer from two aspects of challenges: intra-class inconsistency and inter-class indistinction. To tackle these two problems, we propose a Discriminative Feature Network (DFN), which contains two sub-networks: Smooth Network and Border Network. Specifically, to handle the intra-class inconsistency problem, we specially design a Smooth Network with Channel Attention Block and global average pooling to select the more discriminative features. Furthermore, we propose a Border Network to make the bilateral features of boundary distinguishable with deep semantic boundary supervision. Based on our proposed DFN, we achieve state-of-the-art performance 86.2% mean IOU on PASCAL VOC 2012 and 80.3% mean IOU on Cityscapes dataset.

研究动机与目标

• 在宏观层面重新定义语义分割，强调类内一致性和类间区分。
• 开发一个同时在不同尺度和沿语义边界上学习鲁棒且具判别性的特征的网络。
• 整合全局上下文、通道注意力以及显式的语义边界监督以提升分割准确性。

提出的方法

• 提出使用 U/V 形主干、全局平均池化和通道注意力模块来在不同尺度上选择判别特征的平滑网络。
• 引入带深层监督和语义边界损失（焦点损失）的边界网络，以增强边界处的类间区分。
• 使用细化残差块统一通道维度并在各阶段细化特征。
• 在一个双向、阶段性细化框架中将平滑网络与边界网络结合起来（自上而下用于分割，自下而上用于边界）。
• 用联合损失 L = ell_s + lambda * ell_b 进行优化，在分割监督和边界监督之间取得平衡。

实验结果

研究问题

• RQ1 相比像素级方法，宏观视角的分割是否能改善类内一致性和类间区分？
• RQ2 分别在全局上下文和语义边界下工作的平滑网络和边界网络是否能提高标准基准测试中的平均 IoU？
• RQ3 通道注意力、全局池化、深层监督以及边界监督对最终分割性能有何影响？

主要发现

数据集	方法	平均 IOU (%)
PASCAL VOC 2012 (test)	DFN (final)	86.2
Cityscapes (test)	DFN (final)	80.3

• DFN 在 COCO 微调后，在 PASCAL VOC 2012 的测试集上达到 86.2% 的平均 IoU，达到最先进水平。
• DFN 在 Cityscapes 测试集上达到 80.3% 的平均 IoU。
• 具有全局池化和通道注意力块的平滑网络显著提高了平均 IoU（在消融实验中例如从 72.86% 提升至 79.54%）。
• 具有语义边界监督的边界网络带来进一步提升，将准确率从 79.54% 提升至 79.67%（举例）。
• 多尺度输入和水平翻转（MS_Flip）在 VOC2012 测试上根据配置进一步将性能提升到 80.01–80.60%。
• DFN 在多个数据集上显示出稳健的改进，无需像 DenseCRF这样的后处理。