[论文解读] Learning to Downsample for Segmentation of Ultra-High Resolution Images

Jin Chen, Ryutaro Tanno+3 more|arXiv (Cornell University)|Sep 22, 2021

Advanced Image Processing TechniquesComputer Science参考文献 31被引用 21

一句话总结

本文提出了一种可学习的下采样模块，该模块根据分割难度自适应地对高分辨率图像进行采样，并通过端到端训练结合边缘感知正则化损失来优化采样密度。与均匀下采样和最先进的基于边缘的下采样技术相比，该方法在超高分辨率医学图像、航拍图像和街景图像上实现了更优的精度-效率权衡。

ABSTRACT

Many computer vision systems require low-cost segmentation algorithms based on deep learning, either because of the enormous size of input images or limited computational budget. Common solutions uniformly downsample the input images to meet memory constraints, assuming all pixels are equally informative. In this work, we demonstrate that this assumption can harm the segmentation performance because the segmentation difficulty varies spatially. We combat this problem by introducing a learnable downsampling module, which can be optimised together with the given segmentation model in an end-to-end fashion. We formulate the problem of training such downsampling module as optimisation of sampling density distributions over the input images given their low-resolution views. To defend against degenerate solutions (e.g. over-sampling trivial regions like the backgrounds), we propose a regularisation term that encourages the sampling locations to concentrate around the object boundaries. We find the downsampling module learns to sample more densely at difficult locations, thereby improving the segmentation performance. Our experiments on benchmarks of high-resolution street view, aerial and medical images demonstrate substantial improvements in terms of efficiency-and-accuracy trade-off compared to both uniform downsampling and two recent advanced downsampling techniques.

研究动机与目标

• 为解决超高分辨率图像分割中均匀下采样方法的局限性，该方法假设所有像素具有同等信息量，常导致显著区域的采样不足。
• 克服现有基于边缘的下采样方法性能不佳的问题，这些方法依赖于固定且手工设计的目标函数，未直接针对分割精度进行优化。
• 开发一种可端到端训练的下采样模块，能够动态地将采样预算分配给分割难度较高的区域。
• 通过正则化学习过程，防止出现过度采样背景等平凡区域的退化解。
• 在医学、航拍和城市街景图像等多种领域中，持续提升分割精度与效率。

提出的方法

• 引入一个可学习的形变模块 $ D_{\theta} $，其输入为低分辨率图像，并预测一个采样密度图 $ \mathbf{d} $，该图用于指导在原始高分辨率图像上的非均匀采样。
• 变形采样器 $ G_d $ 利用预测的密度图，通过自适应选择像素而非均匀采样，生成下采样图像 $ \hat{\mathbf{X}} $。
• 采样过程是可微的，支持对下采样模块 $ D_{\theta} $ 和分割网络 $ S_{\phi} $ 进行端到端联合优化。
• 引入边缘损失正则化项，以鼓励采样集中在物体边界周围，提升鲁棒性并防止对背景区域的过度采样。
• 联合优化分割损失与边缘损失，使模型能够学习到最大化分割性能的数据相关采样策略。

实验结果

研究问题

• RQ1 与将所有像素视为同等重要的均匀下采样相比，可学习的下采样模块是否能提升超高分辨率图像上的分割精度？
• RQ2 与固定且手工设计的采样策略相比，下采样与分割的端到端联合优化是否能带来更好的效率-精度权衡？
• RQ3 引入边缘损失正则化项如何影响下采样模块的鲁棒性与泛化能力？
• RQ4 所学习的采样策略在多大程度上能适应特定领域特征，如物体边界清晰度或语义线索分布？
• RQ5 该方法是否能在包括医学组织切片、航拍图像和城市街景图像在内的多样化高分辨率数据集上实现泛化？

主要发现

• 在Cityscapes数据集上，该方法在所有下采样尺度下均实现了比第二好的基线方法高出最多4个百分点的mIoU，证明了显著的精度提升。
• 与基线相比，该方法将计算成本降低了最多47%，同时保持或提升了分割性能。
• 在DeepGlobe和PCa-Histo数据集上，当标签基于高层次语义知识而非精确边界时，该方法表现出更优的性能。
• 所学习的采样策略具有数据依赖性：在Cityscapes中，其在边界附近密集采样；而在DeepGlobe和PCa-Histo中，可能在远离边界的位置采样，表明其能适应语义复杂性。
• 边缘损失正则化有效防止了对平凡区域的过度采样，并提升了泛化能力，尤其在物体边界并非主要分割线索的情况下。