[论文解读] Efficient Segmentation: Learning Downsampling Near Semantic Boundaries

Dmitrii Marin, Zijian He+5 more|arXiv (Cornell University)|Jul 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用 13

一句话总结

本文提出了一种内容自适应下采样方法，通过神经网络学习在语义边界附近采样更多像素，从而在保持计算效率的同时提升分割精度，尤其在小物体和边界细节方面表现更优。该方法通过减少边界定位误差并更好地处理尺度变化，优于均匀下采样。

ABSTRACT

Many automated processes such as auto-piloting rely on a good semantic segmentation as a critical component. To speed up performance, it is common to downsample the input frame. However, this comes at the cost of missed small objects and reduced accuracy at semantic boundaries. To address this problem, we propose a new content-adaptive downsampling technique that learns to favor sampling locations near semantic boundaries of target classes. Cost-performance analysis shows that our method consistently outperforms the uniform sampling improving balance between accuracy and computational efficiency. Our adaptive sampling gives segmentation with better quality of boundaries and more reliable support for smaller-size objects.

研究动机与目标

• 为解决均匀下采样导致的语义分割质量下降问题，尤其是在物体边界和小物体上。
• 通过学习非均匀采样模式，改善计算效率与分割精度之间的权衡。
• 开发一种即插即用的模块，无需微调即可增强现有分割架构。
• 通过边界感知采样减少边界定位中的量化误差。
• 通过在较小、高曲率区域增加采样密度，隐式处理尺度变化。

提出的方法

• 训练一个辅助CNN来预测非均匀的采样位置，这些位置被拉向真实标签中目标类别的语义边界。
• 通过由边界曲率和长度驱动的几何模型，将采样位置生成为稀疏网格，使边界附近的密度更高。
• 下采样后的特征由标准且高效的分割CNN处理，随后通过上采样重建全分辨率分割图。
• 使用一种自定义插值方法从稀疏、非均匀采样的点重建分割图，替代标准的基于CNN的插值方法。
• 该方法通过端到端训练，损失函数鼓励在高曲率边界附近采样，以最小化边界近似误差。
• 理论分析表明，边界近似误差的量级为 $\mathcal{O}(\frac{\kappa l^2}{N^2})$，显著优于均匀下采样的 $\mathcal{O}(\frac{D}{\sqrt{N}})$。

实验结果

研究问题

• RQ1 能否通过在语义边界附近学习更密集的采样来提升分割精度，同时不增加计算成本？
• RQ2 与均匀下采样相比，非均匀、边界感知的下采样在边界定位误差方面表现如何？
• RQ3 自适应下采样在小物体和尺度变化较大的物体上能多大程度上提升性能？
• RQ4 所提方法能否以最小修改集成到现有分割流水线中并持续带来性能增益？
• RQ5 与均匀下采样相比，非均匀采样下的边界近似误差理论边界为何？

主要发现

• 所提自适应下采样方法随着采样点数量增加，边界定位误差下降速度更快，误差量级为 $\mathcal{O}(\frac{\kappa l^2}{N^2})$，而均匀下采样为 $\mathcal{O}(\frac{D}{\sqrt{N}})$。
• 在ApolloScape数据集上，该方法在小物体上的召回率随物体尺寸减小而更平稳下降，尤其在 $64\times64$ 下采样时表现更优。
• 该方法在多个架构（如DeepLab、PSPNet）和数据集（Cityscapes、COCO、ApolloScape）上均实现了稳定的mIoU提升，且计算开销极低。
• 辅助网络仅引入少量推理成本，因此相比均匀下采样，实现了更优的成本-性能权衡。
• 该方法通过在较小区域增加采样密度，隐式均衡了尺度效应，简化了特征学习。
• 可视化结果表明，边界更清晰、更准确，对小物体（如骑行人）的支持更好，而这些物体常被均匀下采样所遗漏。