Skip to main content
QUICK REVIEW

[论文解读] Learning to Upsample by Learning to Sample

Wenze Liu, Hao Lü|arXiv (Cornell University)|Aug 29, 2023
Advanced Neural Network ApplicationsComputer Science被引用 24
一句话总结

DySample 是一个轻量级的动态上采样器,将上采样重新表述为面向内容的点采样,在多种密集预测任务中以较低的计算成本实现了出色的精度。它避免了动态卷积和高分辨率引导,而是依赖具有可学习偏移的 PyTorch grid_sample,以超越基于卷积核的上采样器。

ABSTRACT

We present DySample, an ultra-lightweight and effective dynamic upsampler. While impressive performance gains have been witnessed from recent kernel-based dynamic upsamplers such as CARAFE, FADE, and SAPA, they introduce much workload, mostly due to the time-consuming dynamic convolution and the additional sub-network used to generate dynamic kernels. Further, the need for high-res feature guidance of FADE and SAPA somehow limits their application scenarios. To address these concerns, we bypass dynamic convolution and formulate upsampling from the perspective of point sampling, which is more resource-efficient and can be easily implemented with the standard built-in function in PyTorch. We first showcase a naive design, and then demonstrate how to strengthen its upsampling behavior step by step towards our new upsampler, DySample. Compared with former kernel-based dynamic upsamplers, DySample requires no customized CUDA package and has much fewer parameters, FLOPs, GPU memory, and latency. Besides the light-weight characteristics, DySample outperforms other upsamplers across five dense prediction tasks, including semantic segmentation, object detection, instance segmentation, panoptic segmentation, and monocular depth estimation. Code is available at https://github.com/tiny-smart/dysample.

研究动机与目标

  • 为密集预测动机一个轻量级、通用的上采样算子,避免繁重的动态卷积和高分辨率引导。
  • 使用标准的 PyTorch 基元将上采样重新表述为可学习的、面向内容的点采样。
  • 系统性地将一个简单的基于采样的上采样器改进为具有低延迟和低内存占用的实用 DySample。

提出的方法

  • 将上采样表示为对连续映射的插值,然后在面向内容的点进行重新采样。
  • 通过线性投影生成每个点的偏移,并通过像素洗牌或重新整形进行细化,以生成采样网格。
  • 引入静态和动态作用域因子以约束偏移移动并减少采样重叠。
  • 将通道分成组以实现分组的偏移生成以提高效率。
  • 提供四种 DySample 变体(LP/PL 与静态/动态作用域),并比较复杂性与性能。
  • 在语义分割、目标检测/实例分割、全景分割和单目深度估计等任务上进行实证验证。

实验结果

研究问题

  • RQ1在使用标准 PyTorch 基元的情况下,基于采样的上采样算子能否与基于卷积核的动态上采样相匹配甚至超越?
  • RQ2哪些初始化、作用域控制和分组策略能够最大化基于采样的上采样器的性能与效率?
  • RQ3就准确度和资源消耗而言,DySample 在多样化的密集预测任务中的表现与 CARAFE、FADE、SAPA 相比如何?

主要发现

  • DySample 以显著更少的参数、FLOPs、内存和延迟实现了最先进或具有竞争力的结果,相较于基于卷积核的动态上采样器。
  • 在 ADE20K 的 SegFormer-B1 上,DySample-S+ 达到 mIoU 43.58,并在 mIoU 和边界指标上超越若干基线。
  • DySample 在五个密集预测任务中改进了分割和检测/分割指标,在若干设置中对 baselines(如 CARAFE)有显著提升。
  • LP/PL 变体在参数和速度上呈现不同的权衡,PL 常为 SegFormer 和 MaskFormer 提供更好性能。
  • DySample+(动态作用域)和分组(g=4)在性能上相较静态单组配置有显著提升。
  • 与双线性插值相比,DySample 降低伪影并保持内部区域质量,同时增加的开销极小。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。