[论文解读] ParseNet: Looking Wider to See Better

Wei Liu, Andrew Rabinovich+1 more|arXiv (Cornell University)|Jun 15, 2015

Advanced Neural Network Applications参考文献 32被引用 1,060

一句话总结

ParseNet 提出了一种简单、端到端的全卷积神经网络用于语义分割，通过在整幅图像上池化特征并将其附加到每个空间位置，增强了特征图的全局上下文信息。该方法在 SiftFlow 和 PASCAL-Context 数据集上显著提升了分割精度，取得了当前最优（SOTA）结果，并在 PASCAL VOC 2012 上实现了接近 SOTA 的性能，与基线 FCN 相比计算开销极低。

ABSTRACT

We present a technique for adding global context to deep convolutional networks for semantic segmentation. The approach is simple, using the average feature for a layer to augment the features at each location. In addition, we study several idiosyncrasies of training, significantly increasing the performance of baseline networks (e.g. from FCN). When we add our proposed global feature, and a technique for learning normalization parameters, accuracy increases consistently even over our improved versions of the baselines. Our proposed approach, ParseNet, achieves state-of-the-art performance on SiftFlow and PASCAL-Context with small additional computational cost over baselines, and near current state-of-the-art performance on PASCAL VOC 2012 semantic segmentation with a simple approach. Code is available at https://github.com/weiliu89/caffe/tree/fcn .

研究动机与目标

• 通过在全卷积神经网络（FCNs）中引入全局上下文信息来提升语义分割性能，因为 FCNs 本身会忽略场景级上下文信息。
• 解决 FCN 在长距离上因感受野不足而导致的标签不一致性问题。
• 开发一种简单、端到端的深度学习架构，避免使用复杂的后处理或混合模型（如 CRFs）。
• 证明可通过极低的计算开销将全局上下文有效注入 FCN，并获得显著的精度提升。
• 建立训练 FCN 的最佳实践，包括特征归一化和可学习缩放，以在引入全局上下文前最大化性能。

提出的方法

• 对某一层的特征图在整个图像上进行池化，生成一个全局上下文向量。
• 将全局上下文向量上采样至原始特征图的空间维度，并与原始特征进行拼接。
• 对来自不同层的特征应用 L2 归一化，以在尺度差异下实现有效融合。
• 通过反向传播学习特征融合的缩放因子，以最优方式组合多层级特征。
• 选择性地将全局上下文注入特定层，特别是高层特征（如 fc7），以增强上下文理解能力。
• 通过可学习权重对多层特征进行晚期融合，以平衡各层贡献，且不增加训练复杂度。

实验结果

研究问题

• RQ1 能否在不依赖后处理 CRFs 的情况下，有效将全局上下文集成到全卷积神经网络中用于语义分割？
• RQ2 与标准 FCN 基线相比，通过全局平均池化生成的全局上下文向量是否能提升分割精度？
• RQ3 多层级特征的归一化与可学习缩放如何影响语义分割网络的性能？
• RQ4 全局上下文带来的性能增益是否可与复杂的基于 CRF 的后处理方法相媲美？
• RQ5 一种简单、端到端的全局上下文架构是否能在 SiftFlow 和 PASCAL-Context 等标准基准上实现当前最优结果？

主要发现

• ParseNet 在 SiftFlow 数据集上实现了当前最优性能，在 PASCAL-Context 数据集上达到 69.55% 的平均 IoU，优于以往方法。
• 在 PASCAL VOC 2012 上，ParseNet 达到 69.8% 的平均 IoU，与 DeepLab-LargeFOV-CRF 方法的性能处于一个标准差范围内，表明其在更简单的架构下仍具有竞争力。
• 在 PASCAL-Context 上，加入全局上下文使基线 FCN 性能提升超过 5%，表明全局上下文是解决局部模糊性的关键因素。
• 所提出的结合可学习缩放与归一化的方法使基线 FCN 在 PASCAL-Context 上提升了 5.5 个百分点，表明训练策略本身即可显著提升性能。
• 使用子区域特征（1×1、2×2、4×4）的空间金字塔池化并未带来性能提升，表明高层特征的感受野已足以建模全局上下文。
• 该方法具有鲁棒性且易于训练，推理阶段的计算开销与标准 FCN 相当，且可与 CRFs 结合以获得进一步性能增益。