[论文解读] Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|May 8, 2016

Advanced Neural Network Applications参考文献 32被引用 32

一句话总结

本文提出拉普拉斯金字塔重建与精炼（LRR），一种通过利用高层卷积神经网络特征中的亚像素空间信息，并采用多分辨率重建架构与乘法门控机制融合多尺度预测，从而提升语义分割性能的方法。该方法在不依赖复杂CRF或实例检测组件的前提下，在PASCAL VOC与Cityscapes基准上取得了最先进性能。

ABSTRACT

CNN architectures have terrific recognition performance but rely on spatial pooling which makes it difficult to adapt them to tasks that require dense, pixel-accurate labeling. This paper makes two contributions: (1) We demonstrate that while the apparent spatial resolution of convolutional feature maps is low, the high-dimensional feature representation contains significant sub-pixel localization information. (2) We describe a multi-resolution reconstruction architecture based on a Laplacian pyramid that uses skip connections from higher resolution feature maps and multiplicative gating to successively refine segment boundaries reconstructed from lower-resolution maps. This approach yields state-of-the-art semantic segmentation results on the PASCAL VOC and Cityscapes segmentation benchmarks without resorting to more complex random-field inference or instance detection driven architectures.

研究动机与目标

• 解决卷积神经网络特征层级中空间精度与语义置信度之间的权衡问题，其中高层特征语义丰富但定位能力差。
• 探究尽管存在池化导致的分辨率损失，高维、低分辨率特征图是否仍包含可利用的亚像素空间信息。
• 开发一种高效、可训练的架构，从低分辨率特征图重建密集的高分辨率分割图，且不依赖复杂的CRF或基于实例的后处理。
• 通过采用类似拉普拉斯金字塔的结构并结合置信度加权门控机制，融合多层网络的预测结果，以改善语义分割中的边界定位。
• 证明简单、可学习的重建与精炼机制在密集预测任务中可超越更复杂的架构。

提出的方法

• 使用可学习的、类别特定的基函数集合对低分辨率特征图进行亚像素上采样，实现比标准转置卷积或双线性插值更精细的空间定位。
• 构建多尺度拉普拉斯金字塔架构，其中每一层预测最终分割图的带通表示，高分辨率层对低分辨率预测进行精炼。
• 应用乘法门控机制，当低分辨率预测置信度高时动态抑制噪声较高的高分辨率预测，防止不可靠高频信号导致性能下降。
• 采用两阶段训练策略：首先在PASCAL VOC和COCO数据上预训练32倍重建头，然后通过跳跃连接微调至16倍、8倍和4倍层，以提升多尺度融合效果。
• 在训练过程中使用多尺度数据增强，以提高模型在不同输入尺度下的鲁棒性与泛化能力。
• 将最终模型作为CRF推理中的单变量势能集成，尽管该方法在无后处理时性能依然出色。

实验结果

研究问题

• RQ1 通过可学习重建，能在多大程度上从高层、低分辨率的CNN特征图中恢复亚像素空间信息？
• RQ2 如何有效融合CNN层级中不同层次的多尺度特征，以平衡语义准确度与空间精度？
• RQ3 具有乘法门控机制的简单、可微分架构是否能在语义分割中超越更复杂的CRF或基于实例的精炼方法？
• RQ4 所提出的拉普拉斯金字塔重建框架是否能在不依赖后处理的情况下，提升标准基准上的边界定位性能与总体IoU？
• RQ5 该模型在标注质量各异的数据集（如COCO与PASCAL VOC）之间是否具有良好的泛化能力？

主要发现

• 所提出的基于类别特定基函数的亚像素重建方法，在PASCAL VOC与Cityscapes上的定性对比中，显著提升了空间精度，优于标准上采样方法。
• LRR-4x模型在Cityscapes测试集上达到70.0%的平均交并比（mIoU），优于FCN-8s和DeepLab(ResNet)等多种先前方法。
• 在PASCAL VOC 2011验证集上，当在VOC与COCO数据上联合训练时，模型mIoU达到77.5%，较基础模型的74.6%提升2.9%，即使未使用COCO微调也表现更优。
• 采用乘法门控机制使模型能有效抑制噪声较高的高分辨率预测，相比线性融合或拼接，其精炼结果更稳定、更准确。
• 该架构在PASCAL VOC 2012与Cityscapes基准上均达到最先进性能，优于多数依赖复杂CRF或实例检测流程的先前方法。
• 即使不使用CRF后处理，LRR模型仍取得具有竞争力的结果，证明了端到端可训练精炼机制的有效性。