[论文解读] Laplacian Reconstruction and Refinement for Semantic Segmentation.

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|May 8, 2016

Advanced Neural Network Applications被引用 33

一句话总结

该论文提出了一种拉普拉斯风格的重建网络，通过利用高分辨率跳跃连接，对粗糙的低分辨率特征图进行细化，以实现语义分割。通过利用高维特征中的亚像素细节，并通过多分辨率细化迭代重建边界，该方法在 PASCAL VOC 上实现了最先进性能，且无需复杂的 CRF 或检测头。

ABSTRACT

CNN architectures have terrific recognition performance but rely on spatial pooling which makes it difficult to adapt them to tasks that require dense pixel-accurate labeling. This paper makes two contributions: (1) We demonstrate that while the apparent spatial resolution of convolutional feature maps is low, the high-dimensional feature representation contains significant sub-pixel localization information. (2) We describe a multi-resolution reconstruction architecture, akin to a Laplacian pyramid, that uses skip connections from higher resolution feature maps to successively refine segment boundaries reconstructed from lower resolution maps. This approach yields state-of-the-art semantic segmentation results on PASCAL without resorting to more complex CRF or detection driven architectures.

研究动机与目标

• 解决卷积神经网络中密集像素级标注的挑战，这些网络受空间池化导致分辨率降低的限制。
• 利用高维特征表示中嵌入的亚像素定位信息，即使其明显空间分辨率较低。
• 开发一种受拉普拉斯金字塔启发的多分辨率重建框架，逐步从粗到细地优化分割边界。
• 在不依赖复杂后处理（如 CRF）或基于检测的架构的情况下，实现在 PASCAL VOC 上的最先进性能。

提出的方法

• 构建一个类似于拉普拉斯金字塔的多分辨率特征重建流水线，其中每一层都对下一层的分割图进行细化。
• 整合来自更高分辨率特征图的跳跃连接，将细粒度的空间细节注入到更粗糙的特征表示中。
• 使用残差连接，将高分辨率特征中的高频边界细节传播到较低分辨率层级进行细化。
• 端到端训练网络，通过迭代重建逐步细化的预测来优化分割质量。
• 利用高维特征即使在空间分辨率看似较低时，仍包含亚像素定位线索的事实。
• 通过多尺度监督应用一系列细化步骤，从低分辨率特征图重建出清晰精确的物体边界。

实验结果

研究问题

• RQ1 即使空间分辨率较低，高维 CNN 特征是否仍包含可利用的亚像素定位信息？
• RQ2 受拉普拉斯金字塔启发的多分辨率重建架构能否提升语义分割中的边界精度？
• RQ3 使用来自更高分辨率特征的跳跃连接进行迭代细化，是否优于标准全卷积网络在密集预测任务上的表现？
• RQ4 能否在不使用复杂 CRF 或基于检测组件的情况下，实现在 PASCAL VOC 上的最先进性能？

主要发现

• 高维特征图即使在空间分辨率看似较低时，仍包含显著的亚像素定位信息。
• 所提出的拉普拉斯重建网络在 PASCAL VOC 语义分割基准上实现了最先进性能。
• 该方法通过利用更高分辨率特征的跳跃连接，迭代细化粗糙预测，从而提升边界精度。
• 该方法在无需额外 CRF 后处理或检测头的情况下，优于标准 FCN 基模型。
• 多分辨率细化机制通过一系列重建步骤，有效捕捉了细粒度细节。