[论文解读] Superpixel Segmentation with Fully Convolutional Networks

Fengting Yang, Qian Sun+2 more|arXiv (Cornell University)|Mar 29, 2020

Advanced Vision and Imaging参考文献 46被引用 16

一句话总结

本文提出一种全卷积网络（FCN）用于超像素分割，通过在规则图像网格上预测超像素关联，实现高效集成到深度神经网络中。通过在立体匹配中使用学习到的超像素关联进行下采样和上采样，该方法保持了物体边界，并在基准数据集上实现了最先进性能，推理速度达50fps，且提升了视差估计精度。

ABSTRACT

In computer vision, superpixels have been widely used as an effective way to reduce the number of image primitives for subsequent processing. But only a few attempts have been made to incorporate them into deep neural networks. One main reason is that the standard convolution operation is defined on regular grids and becomes inefficient when applied to superpixels. Inspired by an initialization strategy commonly adopted by traditional superpixel algorithms, we present a novel method that employs a simple fully convolutional network to predict superpixels on a regular image grid. Experimental results on benchmark datasets show that our method achieves state-of-the-art superpixel segmentation performance while running at about 50fps. Based on the predicted superpixels, we further develop a downsampling/upsampling scheme for deep networks with the goal of generating high-resolution outputs for dense prediction tasks. Specifically, we modify a popular network architecture for stereo matching to simultaneously predict superpixels and disparities. We show that improved disparity estimation accuracy can be obtained on public datasets.

研究动机与目标

• 为解决将超像素集成到深度神经网络中的挑战，因为标准卷积在不规则的超像素网格上效率低下。
• 开发一种方法，实现超像素分割与下游任务（如立体匹配）的端到端训练。
• 通过用基于超像素的上采样替代双线性上采样，保留高分辨率密集预测任务中的细节和物体边界。
• 证明联合学习超像素与任务特定输出可优于固定超像素初始化的性能。

提出的方法

• 该方法将超像素分割建模为预测图像像素与规则网格单元之间的关联得分，使用全卷积网络（FCN）实现端到端学习。
• 其利用传统超像素算法（如SLIC）中常见的初始化策略，将超像素映射到规则网格单元，从而支持标准卷积操作。
• 学习一个超像素关联矩阵Q，以可微方式同时实现下采样（通过聚合每个超像素的特征）和上采样（通过将预测广播到像素）。
• 该框架用基于超像素的操作替代立体匹配网络（如PSMNet）中的标准步长为2的卷积和双线性上采样，从而保留空间细节。
• 模型在超像素分割和下游任务（视差估计）上进行联合训练，实现相互优化。
• 该方法使用修改后的SLIC损失，其中m=30或m=60，以在训练过程中正则化超像素的紧凑性和均匀性。

实验结果

研究问题

• RQ1 全卷积网络能否在保持最先进分割精度的同时，有效学习在规则网格上的超像素关联？
• RQ2 用基于超像素的上采样替代标准双线性上采样，是否能提升立体匹配中高分辨率视差估计的性能？
• RQ3 联合训练超像素分割与视差预测是否能优于固定超像素初始化的性能？
• RQ4 与现有超像素和立体匹配方法相比，该方法在速度、精度和细节保留方面表现如何？

主要发现

• 所提出的基于FCN的超像素方法在BSDS500和NYUv2基准上达到最先进性能，推理速度约为50fps。
• 在SceneFlow数据集上，联合训练变体（Ours_joint）的端点误差（EPE）为0.93，优于原始PSMNet的1.04。
• 在高分辨率HR-VS数据集上，Ours_joint将EPE降低至2.77，显著优于PSMNet的3.83，尤其考虑到16倍的上采样倍数。
• 在Middlebury-v3数据集上，该方法的平均误差为7.11（PSMNet为8.78），表明在真实世界高分辨率数据上表现更优。
• 消融研究证实联合训练至关重要——Ours_fixed（固定超像素）的性能低于原始PSMNet，凸显了端到端优化的优势。
• 定性结果表明，与基线方法相比，该方法在复杂纹理和边缘区域更好地保留了细节和物体边界。